在前四节（7.1–7.4）中，我们讨论了如何采集海量数据、如何清洗去重、如何配比不同领域、以及如何训练 Tokenizer。这些工作解决的是“数据好不好用”的技术问题。但如果跳过本节要讨论的内容，前面所有努力都可能变成一颗定时炸弹——训练出一个能力很强的模型，却因为版权诉讼、隐私泄露或内容违规而被下架、罚款乃至承担刑事责任。
数据合规不是法务部门在训练结束后盖个章，而是训练工程本身的前置关卡。本节从工程视角出发，梳理大模型数据治理中必须守住的底线。
一、为什么合规是训练数据的“一票否决项”
大模型的特殊性在于知识压缩的不可逆性。传统软件如果用了违规数据，可以删除对应的数据库记录；但 LLM 把数万亿 Token 的知识蒸馏进了百亿级参数权重中（回顾 1.1 节）。一旦污染数据进入训练流程，目前学术界和工业界都没有低成本、高精度的“机器遗忘”（Machine Unlearning）方案。也就是说：
数据入口的漏洞，无法通过模型出口的修补来低成本弥补。
此外，监管正在快速收紧。中国的《生成式人工智能服务管理暂行办法》、欧盟的《AI Act》、美国版权领域的密集诉讼，都指向同一个事实：数据来源的合法性、安全性与可追溯性，已经成为模型上市的硬门槛。
二、四类核心风险与工程应对
1. 版权与知识产权风险：不是“互联网公开”就等于“可训练”
这是当前全球大模型 litigation 最集中的领域。
- 文本类：书籍、新闻、学术论文、编剧作品受著作权法保护。爬虫抓取付费墙内容、盗版电子书库、未经 CC 协议授权的博文，均存在侵权风险。纽约时报诉 OpenAI、多家图片社诉 Stability AI 等案件，核心争议点都在于此。
- 代码类：GitHub 上的代码并非全部“开源即免责”。GPL、AGPL、SSPL 等具有传染性的许可证（Copyleft）要求衍生作品同样开源。虽然“模型权重是否属于衍生作品”在法律上尚无定论，但企业客户通常要求供应商提供代码数据的 License 审计报告，以规避未来被主张开源的风险。
工程实践：
- 建立数据源准入清单（Source Allowlist），对每个来源打标签：
Public Domain / CC0 > 商业友好（MIT/Apache）> 需额外授权 > 禁止抓取。 - 对代码数据实施 License 过滤器：在 7.2 节的清洗流程中，增加基于文件头声明和仓库元数据的自动分类，将高风险 License 代码隔离或降采样。
- 先审后入：禁止“先全量爬取、再慢慢清洗”的粗放模式。数据在落入存储池之前，必须通过版权合规初筛。
2. 个人隐私泄露：模型会“无意中背出”你的信息
预训练语料中混杂着大量个人身份信息（PII）：身份证号、手机号、住址、病历、简历、邮件内容。由于 LLM 具有强大的记忆与复述能力，攻击者可以通过精心构造的 Prompt（如“请输出包含 138**** 开头的所有完整手机号”）诱导模型泄露训练数据中的隐私片段。
工程实践：
- PII 检测与脱敏：在 7.2 节的清洗管线中，嵌入基于正则表达式 + NER 模型的多层扫描，对身份证号、银行卡号、邮箱、电话等进行假名化（Pseudonymization）或掩码替换（如替换为
[PHONE]占位符）。 - 差分隐私（Differential Privacy）：在训练时向梯度更新注入 calibrated noise，降低模型对单个训练样本的记忆程度。代价是轻微的性能损失，适用于对隐私极度敏感的场景（如医疗模型）。
- 特别注意代码中的密钥：代码语料中经常包含硬编码的 API Key、私钥、企业内部 URL。这类泄露比文本 PII 更隐蔽，建议使用专门的 Secret Scanning 工具（如 GitHub 的 secret-scanning 规则库）在入库前拦截。
3. 有害内容：去毒不仅是技术问题，更是合规红线
7.2 节提到的“去毒”侧重质量与体验，而从合规视角看，某些内容是绝对禁止进入训练集的：
- 恐怖主义、极端暴力、儿童性虐待内容（CSAM）；
- 系统性煽动仇恨、歧视特定族群或性别；
- 制作毒品、武器或实施网络攻击的教程。
这些内容不仅会让模型价值观扭曲，更可能触发刑事法律风险。需要注意的是，不同法域的红线不同：某些在部分地区合法的政治言论，在另一些地区可能属于敏感信息。面向全球发布的模型，需要建立多法域合规内容清单。
工程实践：
- 在清洗阶段引入多语言有害内容分类器（如基于多语言 BERT 的毒性检测模型），对非英语内容同样严格审查。
- 对来自 UGC 平台（论坛、社交媒体）的数据，实施来源黑名单机制，对历史上有毒内容高发的域名/子版块直接排除。
- 建立人工审核抽样机制：再强的自动过滤也有漏网之鱼，对高敏感领域（医疗、法律、心理咨询）的垂直数据，必须保留人工质检比例。
4. 数据跨境与主权合规：训练集群在哪，法域就适用哪
大模型训练往往涉及跨国算力调度、多地数据存储。如果训练数据包含中国境内个人信息或重要数据，而训练集群位于海外，可能触发数据出境安全评估义务。
工程实践：
- 数据主权架构设计：在规划阶段明确“数据不出境”或“出境需评估”的边界。境内训练任务优先使用境内采集、脱敏后的数据集。
- 数据分级分类：依据《数据安全法》《个人信息保护法》，对训练数据进行分级。涉及重要数据（如地理信息、基因数据、大规模公民个人信息）的训练任务，必须在合规评估完成后启动。
- 合同与授权链：对于采购的第三方数据集，要求供应商提供完整的授权链路证明，避免“二手数据”带来的合规隐患。
三、工程落地的核心规范：一个可执行的治理框架
把上述风险转化为训练流水线的工程规范，建议采用以下四层控制：
| 层级 | 控制点 | 具体动作 |
|------|--------|----------|
| 入口层 | 数据源准入 | 白名单制、License 自动扫描、版权标签化 |
| 处理层 | 清洗与脱敏 | PII 掩码、Secret 扫描、毒性过滤、去重 |
| 配比层 | 风险均衡 | 高风险来源设置采样上限，敏感领域数据需双重授权 |
| 审计层 | 血缘与追溯 | 记录数据版本 → Checkpoint 映射关系，支持问题数据溯源 |
数据血缘（Data Lineage） 尤其关键。在 8.5 节我们将讨论 Checkpoint 的保存策略——除了保存模型权重，Checkpoint 的元数据必须包含训练数据版本号、数据清洗策略哈希、以及数据源清单摘要。一旦某批数据事后被证明存在版权瑕疵，你能快速定位哪些 Checkpoint 被污染，决定是重新训练还是从该节点续训。
四、开发者需要了解的监管速览
不必成为法律专家，但必须知道以下红线：
- 中国：《生成式人工智能服务管理暂行办法》明确要求：训练数据具有合法来源，不侵犯知识产权；涉及个人信息的，已取得个人同意或符合法律规定的其他情形；按规定进行安全评估。
- 欧盟：《AI Act》对通用人工智能模型（GPAI）提出系统性风险义务，要求提供商披露训练数据中的版权合规措施（如是否遵循版权保留协议 Opt-out）。
- 美国：目前无成文专门法，但版权诉讼（如 Authors Guild、Getty Images 系列案件）和 FTC 对“不公平或欺骗性做法”的执法，构成了实质性的合规压力。
五、小结
数据安全与版权合规是大模型训练工程中成本后置、风险前置的环节。它的核心逻辑可以总结为：
- 模型是数据的倒影：进了什么数据，就会带出什么风险；
- 预防远重于补救：权重中的知识难以遗忘，入口把控是唯一经济可行的策略；
- 合规是工程问题：它需要清洗管线、审计系统、版本管理和自动化的 License 扫描，而不是仅靠法务审合同。
当数据通过了安全与合规的闸门，接下来的工作便是让它真正“燃烧”起来——进入第 8 章的预训练全流程：环境准备、模型初始化、前向反向计算、以及如何在千卡集群上稳定地跑完这数周甚至数月的训练。