如果描述下大模型的训练过程,每个人都能熟练讲出 Pre-Train 和 Post-Train 的内容,而这两年 Mid-Train 的概念开始慢慢被熟知。有人说它就是换了个名字的 CPT(Continue Pre-Train),也有人说它是LLM 里现在最关键的一环。
起源
Mid-Train 这个概念源自于 OpenAI,它不仅是 LLM 的一个训练环节,还是一个独立的 Team。看 Karpathy 的个人主页写着:23~24 年,他重返 OpenAI 构建了一个新的团队,做midtraining与合成数据生成。

2024 年 12 月,OLMo 2 的技术报告里把训练流程定义为Pretraining→Mid-training→Post-training。”在第二阶段,也就是他们所说的 mid-training(占训练flops的 5%–10%),提高最高质量网页和人工筛选的非网页资料(学术与参考资料、问答和指令数据)在训练中的采样比例;同时,加入专门构造的合成数据,补足模型的数学能力。“ 同时在这个阶段完成退火,学习率线性衰减至零。
2025 年 4 月,Llama 4 明确把长上下文扩展纳入了 mid-training。 原文说,他们继续训练模型以提升核心能力,其中包括使用专项数据集扩展上下文,并将这一阶段称为 mid-training。
2025 年 10 月,先后出现了两篇专门讨论 LLM mid-training 的综述。”Mid-Training of Large Language Models: A Survey“ 将其视为通用预训练与 SFT 之间的继续训练阶段,强调高质量数据配比、学习率退火与长上下文扩展的协同;”A Survey on LLM Mid-Training“ 则更强调其功能:延续 NTP 目标,通过通用与专项数据的混合,在保留基础能力的同时增强数学、代码、推理、Agent、长上下文等能力,并为后续 post-training 做准备。
后续国内 LLM 技术报告也普遍采用了这个名称。
技术报告 | 时间 | Mid-training 做什么 |
GLM-4.5 | 2025 年 8 月 | 仓库级代码、合成推理数据、Agent 轨迹,以及 4K→32K→128K 上下文扩展。(arxiv.org) |
Kimi K2.5 | 2026 年 2 月 | 明确称为 Joint Long-context Mid-training,混合高质量文本与多模态数据,扩展至 256K。(arxiv.org) |
GLM-5 | 2026 年 2 月 | 延续 GLM-4.5 的框架,强化软件工程、推理与 Agent 能力,上下文逐步扩展至 200K。(arxiv.org) |
Qwen3-Coder-Next | 2026 年 3 月 | 单列 Mid-training 章节,强化代码推理、仓库理解和 Agent 交互,上下文从 32K 扩展至 256K。(arxiv.org) |
DeepSeek-V4 | 2026 年 4 月 | 明确提到在 mid-training 阶段加入 Agent 数据,以增强代码能力;未单独展开该阶段的完整配方。(arxiv.org) |
退火与数据转换
与常见的独立 CPT / SFT 相比,Mid-Train 的一个重要特点,是把目标能力的塑造纳入预训练后期的整体规划:将数据分布转向目标能力,并联合设计数据切换与学习率退火。
MiniCPM发现在退火期混入高质量数据,对比 SFT 有不可替代的效果。说明能力强化值得提前到预训练退火阶段,单靠后续 SFT 未必能补回来。
退火数据 | 后续 SFT | C-Eval | MMLU | MATH | GSM8K |
仅预训练数据 | 6B tokens | 40.9 | 47.9 | 7.9 | 34.2 |
仅预训练数据 | 12B tokens | 41.2 | 47.9 | 7.3 | 34.4 |
预训练+高质量数据 | 6B tokens | 49.1 | 49.6 | 10.5 | 31.8 |
“DATA SCHEDULES AND LEARNING RATE SCHEDULES SHOULD BE DESIGNED TOGETHER“ 专门就是在说数据转换和退火要充分配合设计。
核心实验:固定数据安排,先用通用数据,随后切换为 80% 目标数据 + 20% 通用数据,保持该配比直到训练结束。先在高 LR 下学习目标混合数据,再保持该混合配比退火,效果最好。
学习率安排 | 最终目标域 Loss ↓ |
全程保持高 LR,不退火 | 1.4413 |
开始混入目标数据时,立即退火 | 1.3959 |
混入后先保持高 LR,最后 40% 混合训练窗口退火 | 1.3831 |
全程退火的条件下,混入数据的 Loss 更低。数学数据没有增加,却是“大量掺入通用数据”的方案更好。直觉上,最后专攻数学应该更有利,但实验结果相反。而更有意思的是,不做退火,恒定 LR,结论就反转了。
数据安排 | 全程退火 | 恒定 LR |
最后 1,000 步:100% 数学数据 | 较差:1.6790 | 更好 |
最后 5,000 步:20% 数学 + 80% 通用数据 | 更好:1.6108 | 较差 |
本文为订阅内容
订阅 RecsysFrontier,在 Substack 阅读本文全文
- 每天的 AI / 推荐系统前沿日报,第一时间读到
- 每周周报,一周重点一次看完
- 订阅期内所有日报周报全文