LLM 为什么会多了一个 mid-training
2026-10-24
| 2026-10-26
字数 4805阅读时长≈ 13 分钟
如果描述下大模型的训练过程,每个人都能熟练讲出 Pre-Train 和 Post-Train 的内容,而这两年 Mid-Train 的概念开始慢慢被熟知。有人说它就是换了个名字的 CPT(Continue Pre-Train),也有人说它是LLM 里现在最关键的一环。

起源

Mid-Train 这个概念源自于 OpenAI,它不仅是 LLM 的一个训练环节,还是一个独立的 Team。看 Karpathy 的个人主页写着:23~24 年,他重返 OpenAI 构建了一个新的团队,做midtraining与合成数据生成。
notion image
2024 年 12 月,OLMo 2 的技术报告里把训练流程定义为Pretraining→Mid-training→Post-training。”在第二阶段,也就是他们所说的 mid-training(占训练flops的 5%–10%),提高最高质量网页和人工筛选的非网页资料(学术与参考资料、问答和指令数据)在训练中的采样比例;同时,加入专门构造的合成数据,补足模型的数学能力。“ 同时在这个阶段完成退火,学习率线性衰减至零。
2025 年 4 月,Llama 4 明确把长上下文扩展纳入了 mid-training。 原文说,他们继续训练模型以提升核心能力,其中包括使用专项数据集扩展上下文,并将这一阶段称为 mid-training。
2025 年 10 月,先后出现了两篇专门讨论 LLM mid-training 的综述。”Mid-Training of Large Language Models: A Survey“ 将其视为通用预训练与 SFT 之间的继续训练阶段,强调高质量数据配比、学习率退火与长上下文扩展的协同;”A Survey on LLM Mid-Training“ 则更强调其功能:延续 NTP 目标,通过通用与专项数据的混合,在保留基础能力的同时增强数学、代码、推理、Agent、长上下文等能力,并为后续 post-training 做准备。
后续国内 LLM 技术报告也普遍采用了这个名称。
技术报告
时间
Mid-training 做什么
GLM-4.5
2025 年 8 月
仓库级代码、合成推理数据、Agent 轨迹,以及 4K→32K→128K 上下文扩展。(arxiv.org)
Kimi K2.5
2026 年 2 月
明确称为 Joint Long-context Mid-training,混合高质量文本与多模态数据,扩展至 256K。(arxiv.org)
GLM-5
2026 年 2 月
延续 GLM-4.5 的框架,强化软件工程、推理与 Agent 能力,上下文逐步扩展至 200K。(arxiv.org)
Qwen3-Coder-Next
2026 年 3 月
单列 Mid-training 章节,强化代码推理、仓库理解和 Agent 交互,上下文从 32K 扩展至 256K。(arxiv.org)
DeepSeek-V4
2026 年 4 月
明确提到在 mid-training 阶段加入 Agent 数据,以增强代码能力;未单独展开该阶段的完整配方。(arxiv.org)

退火与数据转换

与常见的独立 CPT / SFT 相比,Mid-Train 的一个重要特点,是把目标能力的塑造纳入预训练后期的整体规划:将数据分布转向目标能力,并联合设计数据切换与学习率退火。
MiniCPM发现在退火期混入高质量数据,对比 SFT 有不可替代的效果。说明能力强化值得提前到预训练退火阶段,单靠后续 SFT 未必能补回来。
退火数据
后续 SFT
C-Eval
MMLU
MATH
GSM8K
仅预训练数据
6B tokens
40.9
47.9
7.9
34.2
仅预训练数据
12B tokens
41.2
47.9
7.3
34.4
预训练+高质量数据
6B tokens
49.1
49.6
10.5
31.8
“DATA SCHEDULES AND LEARNING RATE SCHEDULES SHOULD BE DESIGNED TOGETHER“ 专门就是在说数据转换和退火要充分配合设计。
核心实验:固定数据安排,先用通用数据,随后切换为 80% 目标数据 + 20% 通用数据,保持该配比直到训练结束。先在高 LR 下学习目标混合数据,再保持该混合配比退火,效果最好。
学习率安排
最终目标域 Loss ↓
全程保持高 LR,不退火
1.4413
开始混入目标数据时,立即退火
1.3959
混入后先保持高 LR,最后 40% 混合训练窗口退火
1.3831
全程退火的条件下,混入数据的 Loss 更低。数学数据没有增加,却是“大量掺入通用数据”的方案更好。直觉上,最后专攻数学应该更有利,但实验结果相反。而更有意思的是,不做退火,恒定 LR,结论就反转了。
数据安排
全程退火
恒定 LR
最后 1,000 步:100% 数学数据
较差:1.6790
更好
最后 5,000 步:20% 数学 + 80% 通用数据
更好:1.6108
较差

本文为订阅内容

订阅 RecsysFrontier,在 Substack 阅读本文全文

  • 每天的 AI / 推荐系统前沿日报,第一时间读到
  • 每周周报,一周重点一次看完
  • 订阅期内所有日报周报全文
  • AI
  • LLM
  • AI 历史上反共识的闪耀思想从 PixelUMM 看原生多模态与理解生成一体
    Loading...
    目录