在 7.1 节我们梳理了预训练数据的来源，在 7.2 节我们讨论了如何把脏数据洗干净。但洗好的米怎么下锅，是另一门学问——把全部语料不加区分地倒进搅拌机，大概率会炼出一个“四不像”：说话像维基百科一样枯燥，写代码像散文一样随意，推理数学时满口网络梗，做客服时又端着学术论文的架子。
数据配比（Data Mixture）决定了模型的“先天气质”。它是预训练阶段最具杠杆效应的决策之一，却往往是技术报告里语焉不详的部分。本节把它拆开讲透。
一、为什么配比比“堆量”更重要？
业界有个朴素的误解：预训练就是拼命堆 Token，谁喂得多谁赢。但 Chinchilla 等研究早已证明，在数据量与参数量匹配的前提下，训练数据的“成分表”直接决定能力的天花板。
原理不复杂：模型参数是有限的记忆与模式拟合资源。如果 70% 的 Token 来自低质量论坛水帖，模型就会把水帖的语言模式当作“标准语”；如果代码只占 1%，就别指望它在 Python 推理上表现惊艳。数据配比本质上是在争夺模型注意力带宽的分配权。
二、预训练数据的“食材谱系”与能力映射
不同领域的数据不是等价的，它们对模型能力的贡献具有强烈的定向性。以下是当前主流基座模型（如 Llama、Qwen、Mistral 系列）常见的数据分类及其作用：
| 数据类型 | 典型来源 | 核心能力贡献 | 过量风险 |
|---------|---------|-------------|---------|
| 过滤后网页 | Common Crawl、内部爬虫 | 通用知识、语言多样性、时事概念 | 噪声残留、SEO 垃圾、偏见放大 |
| 书籍/长文档 | Gutenberg、书籍扫描、长文 | 长程依赖、叙事逻辑、复杂语法、文学性 | 知识陈旧、文风过于正式 |
| 百科全书 | Wikipedia、专业知识库 | 事实密度高、结构化知识、实体关系 | 覆盖不均、语调单一 |
| 代码 | GitHub、Stack Overflow | 数学推理、逻辑链、工具调用、格式遵循 | 说话像机器、丧失自然语言流动性 |
| 学术论文 | arXiv、PubMed | 严谨推理、专业术语、符号体系 | 通用对话能力下降、表达晦涩 |
| 对话/论坛 | Reddit、高质量论坛、社群 | 口语化、多样性、人类交互模式 | 质量参差、有毒内容、观点极化 |
| 多语言语料 | 各语言网页、平行语料 | 跨语言能力、低资源语言覆盖 | 英语主导下被稀释、语料质量两极分化 |
实用认知：没有“完美食谱”。Llama 2 的技术报告透露，其代码比例较前代显著提升，直接换来了编程和数学能力的跃迁；而某些早期模型因为书籍占比过高，导致日常对话带着一股“翻译腔”。你的目标用户是谁，就应该让对应的“食材”占主导。
三、通用预训练的配比逻辑：三个平衡轴
1. 知识广度 vs 推理深度
- 广度依赖：网页、百科、书籍。它们让模型“见多识广”，能回答“谁是莎士比亚”这类事实性问题。
- 深度依赖：代码、数学语料、科学论文。它们让模型具备 step-by-step 的推理骨架（见 1.3 节）。
当前业界的一个共识是：代码数据是推理能力的“隐形催化剂”。即使你的目标不是做编程助手，在预训练中保持 10%–20% 的高质量代码，也能显著提升模型在数学、逻辑和结构化输出上的表现。
2. 自然语言流畅度 vs 事实准确性
- 书籍和对话数据让模型说话好听、有节奏感；
- 百科和学术数据让模型的事实密度高。
但二者存在张力：过多小说散文会稀释事实性，过多百科会让生成文本干瘪如说明书。高端基座模型通常会在后期引入少量高质量对话数据进行“文风矫正”。
3. 英语主导 vs 多语言均衡
绝大多数高质量语料是英语的。如果多语言数据配比过低，模型对中文、阿拉伯语、印地语的掌握就会停留在“能看懂但不会写”的水平。
经验法则：若目标为双语或多语言基座，非英语语料（尤其是目标语种的高质量语料）通常需要上采样（Upsample），即在混合时赋予高于其自然分布的权重，否则会被英语淹没。
四、领域失衡的典型代价
配比不是小事，偏科会带来系统性缺陷：
- 网页过多（>70%）：模型输出充满“小编体”“广告腔”，喜欢罗列无意义的 bullet points，长文一致性差。
- 代码过多（>30%）：日常对话变得像 JSON 一样机械，过度使用编号列表，对模糊、开放式问题缺乏共情。
- 对话/论坛过多：模型过于口语化，损失严肃场景的正式表达能力，且容易学到网络骂战和极端观点。
- 单一垂类过多（如医疗）：模型在通用常识上“失忆”，把专业知识错配到日常问答中（比如把普通头疼诊断为罕见病）。
关键提醒：预训练阶段的失衡很难通过后期微调完全修正。SFT（监督微调）能改变说话风格，但很难把已经被压缩进权重的底层知识分布连根拔起。
五、垂直场景的配比策略：继续预训练（Continual Pre-training）
对绝大多数企业而言，从头预训练基座模型既不经济也无必要。更务实的路径是：拿开源通用基座（如 Llama 3、Qwen2）做继续预训练，注入领域知识。
此时的配比逻辑与从头预训练完全不同：
核心原则：通用数据为“锚”，领域数据为“燃料”
| 场景 | 建议领域数据占比 | 通用数据角色 | 关键风险 |
|------|-----------------|-------------|---------|
| 通用基座 + 轻量领域增强 | 5%–10% | 防止遗忘，保持语言通识 | 领域能力渗透不足 |
| 深度领域模型（法律/金融/医疗） | 15%–30% | 锚定语言基础，避免过拟合 | 灾难性遗忘、幻觉泛化 |
| 代码专用模型 | 30%–50% | 保持自然语言交互接口 | 通用任务滑坡 |
为什么领域数据不能一股脑全上？
- 灾难性遗忘：如果直接用 100% 医疗数据继续训练，模型可能忘记怎么写诗、写邮件，甚至连基础地理常识都变差。
- 幻觉放大：垂直领域数据往往小众且噪声独特（如医疗记录中的缩写、法律文本的冲突判例）。占比过高会让模型把领域偏见当作普世真理。
- 分布偏移：代码和中文文言文是完全不同的分布，突然切换会导致训练不稳定、损失 spike。
操作建议：
- 采用渐进式配比：初期用高比例通用数据热身，中期逐步提升到目标配比，后期再微调到平衡态。
- 对领域数据做质量分层：仅将最权威、最干净的文献进入高配比档；论坛、内部聊天记录等仅作低比例补充。
六、工程上的实操手段
数据配比不是拍脑袋定百分比，而是一套可复现的管线：
1. 上采样与下采样（Upsample / Downsample）
- 下采样：对海量低质网页进行随机丢弃或去重后稀疏化，避免其凭借体量优势统治模型；
- 上采样：对稀缺但高价值的代码、数学推理、专业书籍数据进行重复采样（重复 2–4 次是常见做法），提升其在每个训练 epoch 中的有效占比。
2. 动态配比（Dynamic Data Scheduling）
部分先进训练框架支持在训练中途动态调整配比。例如：
- 前期：高比例百科+书籍，建立扎实的知识底座；
- 中期：提升代码+数学，强化推理骨架；
- 后期：增加对话与高质量指令数据，为后续 SFT 阶段“预热”对话风格。
这类似于课程学习（Curriculum Learning），但证据表明：对超大规模预训练而言，固定的高质量混合通常比复杂动态策略更稳定。
3. 与 Tokenizer 的联合设计（预告 7.4 节）
如果你的多语言数据配比是 50% 中文，但 Tokenizer 把中文切得稀碎（一个汉字一个 Token），那么中文部分的有效学习效率会大打折扣。数据配比必须与词表设计同步考量。
七、给从业者的四个实用真相
真相 1：没有放之四海而皆准的“黄金配比表”
7B 模型和 70B 模型的消化能力完全不同。小模型吃太杂会“消化不良”，反而需要更高比例的单一高质量语料；大模型容量冗余度高，才经得起多领域大杂烩。
真相 2：顶尖模型的配比是商业机密
开源模型通常只公布“网页/代码/书籍/其他”的大类比例，且往往经过多轮迭代调优。不要指望复制一份配比就能复现 ChatGPT——数据清洗深度和配比细节的颗粒度，才是真正的护城河。
真相 3：配比失衡的修复成本极高
如果发现模型训练完后“说话太像代码”或“缺乏常识”，回炉重练的成本可能是数百万美元。与其在后期打补丁，不如在数据工程阶段花两周做小规模消融实验（Ablation Study），用 1B–7B 的小模型快速验证配比方向。
真相 4：垂类应用要敢于“小比例、高质量”
很多企业做行业模型时，恨不得把十年积累的内部文档全部塞进去。实际上，经过严格清洗的 100GB 领域数据，效果往往远胜于 1TB 的原始文档堆砌。 配比的核心不是“你有多少”，而是“你放进去的每一克数据是否都值回算力票价”。
八、小结
数据配比是预训练阶段的隐形调音台。它决定了模型是成为通识渊博的通才，还是偏科严重的专才；是说话流畅自然，还是僵硬刻板。
核心 takeaway：
- 通用基座追求均衡：网页打底、书籍增智、代码提推理、多语言保覆盖；
- 垂类增强追求锚定：通用数据保不忘，领域数据保深度，比例通常控制在 10%–30%；
- 工程落地追求可逆：先做小规模消融验证配比，再放大到全量训练，避免灾难性遗忘与风格畸变。
在 7.4 节中，我们将进入数据工程的下一个关键环节——Tokenizer 的训练与词表构建。这是比配比更底层的基础设施：你选定了“食材”，现在需要决定“刀工”怎么切，才能让模型最高效地“咀嚼”这些文本。