在 1.1 节中，我们将大语言模型（LLM）的本质归结为一个基于 Transformer 的“概率接龙”引擎。但这个能力并非凭空出现。从最早只能数词频的统计模型，到今天千亿参数级别的生成式 AI，语言模型经历了四次重要的范式转移。理解这条时间线，不仅能帮你厘清技术演进的内在逻辑，也能让你在实际工作中明白：为什么某些方案在今天理所当然，在当年却是突破；以及为什么有些“旧技术”（如统计模型的短窗口思维）至今仍以变体形式藏在现代系统的角落里。
一、统计语言模型时代：基于频次的“查表法”（1990s–2000s）
最早让机器“理解”语言的尝试，核心思想极其朴素：看训练语料里，一个词前面出现某些词时，它自己出现的频率有多高。
这就是 N-gram 模型。它假设一个词出现的概率只取决于前面 N-1 个词（马尔可夫假设）。例如，一个三元组（3-gram）模型看到“人工智能 ___”，会翻遍语料统计“人工智能是”、“人工智能的”、“人工智能在”哪个组合出现次数最多，就把概率最高的那个词填进去。
当时的实用价值：早期搜索引擎的 query 纠错、输入法联想、简单的机器翻译系统。
核心局限也非常明显：
- 数据稀疏：如果训练语料里没见过某个词组合，概率就是 0（需要复杂的平滑算法来兜底）；
- 无法捕捉长距离依赖：3-gram 只能往前看 2 个词，根本没法关联句首的主语和句尾的代词；
- 没有语义概念：“苹果”和“香蕉”在模型里是两个完全无关的符号，模型不知道它们都是水果。
这一阶段的“接龙”本质上是局部统计查表，既没有 1.1 节所说的“连续向量空间”，也没有全局语境。
二、神经网络语言模型：从符号到向量（2003–2013）
第一次质变发生在神经网络被引入语言建模。
2003 年，Yoshua Bengio 等人提出了 NNLM（Neural Network Language Model），核心突破是 Distributed Representation（分布式表示）：不再把词当作孤立的 ID，而是将其映射到一个连续的、可学习的向量空间中。语义相近的词（如“国王”和“女王”）在向量空间中距离更近。
2013 年 Word2Vec 的出现让这一思想大规模落地。它证明了你不需要标注数据，只需要让神经网络预测“某个词的周边会出现什么词”（Skip-gram）或反过来（CBOW），就能得到高质量的词向量（Word Embedding）。
实用意义：从此，NLP 任务从“人工设计特征”转向“学习特征表示”，文本分类、情感分析等任务的基准线被大幅拉高。
但局限仍在：Word2Vec 本质上是“一词一向量”。无论“苹果”出现在“吃苹果”还是“苹果公司”中，它的向量都是同一个。模型依然没有动态上下文感知能力，也没有深度抽象能力。
三、序列建模时代：RNN 与长程依赖的挣扎（2013–2017）
为了处理变长序列和上下文，RNN（循环神经网络） 及其改进版 LSTM、GRU 成为主流。
RNN 家族的核心设计是“隐状态”（Hidden State）：每读入一个词，就更新一次内部记忆，理论上能把前文信息传递到当前位置。这让神经机器翻译（NMT）首次达到可用水平，Google 翻译、百度翻译等系统在 2016 年前后全面转向神经网络。
与 1.1 节呼应：此时的模型确实在做“自回归生成”，但它是串行的——必须逐词计算，当前 step 必须等前一个 step 的隐状态输出。这带来了两个致命伤：
- 训练无法高效并行：面对现代 GPU/TPU 集群时，算力利用率极低；
- 长距离依赖衰减：虽然 LSTM 用门控机制缓解了梯度消失，但信息仍需一步步“搬运”。当句子长到一定程度，句首的信息在句尾几乎被稀释殆尽。
这一瓶颈直接催生了下一个里程碑。
四、注意力革命：Transformer 的诞生（2017）
2017 年，Google 团队发表 《Attention Is All You Need》，提出了 Transformer 架构。这是整个大模型发展史上最重要的分水岭，也是 1.1 节所有现代 LLM 的物理基础。
Transformer 用 Self-Attention（自注意力机制） 彻底取代了循环结构：
- 全局视野：句子中任意两个词之间的距离都变成“一步直达”。无论相隔多远，模型都能直接计算它们之间的关联强度；
- 完全并行：所有位置的计算互不依赖，可以同时在 GPU 上铺展，这让“用海量数据+海量算力炼大模型”从工程幻想变为工业现实；
- 统一框架：Encoder（双向理解）和 Decoder（单向生成）被集成到同一套架构中。
实用影响：从这一天起，NLP 的性能天花板不再是“如何设计更好的特征”或“如何缓解梯度消失”，而是“你有多少张 GPU、多少 T 数据”。这为“大模型”时代的到来铺平了道路。
五、预训练范式的确立：BERT 与 GPT 的路线分野（2018–2019）
有了 Transformer，下一个关键问题是：如何高效地利用无标注文本训练它？
2018 年出现了两个里程碑，标志着“预训练 + 微调”范式的成熟：
| 模型 | 架构选择 | 预训练任务 | 优势领域 |
|------|----------|------------|----------|
| BERT（Google） | 双向 Encoder | Masked LM（完形填空） | 文本理解：分类、抽取、问答 |
| GPT-1（OpenAI） | 单向 Decoder | 自回归语言模型（续写） | 文本生成：写作、对话、翻译 |
为什么今天的大语言模型大多是 GPT 路线（Decoder-only）？
BERT 的双向设计让它在理解任务上表现极佳，但生成任务天然是自回归的（从左到右）。更重要的是，OpenAI 后续的研究（尤其是 GPT-3）证明：当模型规模、数据量和算力持续放大时，单向 Decoder 架构的通用性更好，更容易涌现出上下文学习（In-context Learning）等能力。 因此，今天我们所指的大语言模型（LLM），基本默认是 GPT-style 的自回归生成模型。
六、大模型时代：从“大”到“能用”的飞跃（2020–至今）
进入 2020 年后，Scaling Laws（规模法则）成为行业铁律——当模型参数量、训练数据量和计算量同时提升时，能力会出现非线性的跃升。
- GPT-3（2020，175B 参数）：首次向业界证明，大到一定程度后，模型不需要微调，仅通过“提示词”（Prompt）和少量示例（Few-shot）就能完成全新任务。这就是 2.4 节将要详细讨论的“涌现能力”（Emergent Abilities）。
- ChatGPT / GPT-4（2022–2023）：关键突破不完全是“更大”，而是 RLHF（人类反馈强化学习） 带来的对齐（Alignment）。它让模型从“会接龙的复读机”变成了“能遵循人类指令、承认错误、拒绝有害请求”的对话助手。这也是 2.2 节核心范式的实战巅峰。
- 多模态与工具调用：GPT-4V、Gemini、Claude 3 等开始融合图像、音频；GPT-4、Claude 能调用计算器、代码解释器、搜索引擎等外部工具，补上了 1.1 节所说的“知识静态存储在权重中”的短板。
- 开源生态爆发：Meta 的 LLaMA 系列（以及 Llama 2、3）、Mistral、国内的通义千问（Qwen）、ChatGLM、DeepSeek 等，大幅降低了企业和开发者进入大模型应用的门槛。
七、演进脉络的实用总结
回顾这三十余年，语言模型的发展始终沿着三条主线推进：
- 表示能力：从离散符号（N-gram）→ 静态向量（Word2Vec）→ 上下文动态向量（Transformer）；
- 依赖距离：从只看前 2 个词（3-gram）→ 逐步传递记忆（RNN）→ 全局一步直达（Self-Attention）；
- 学习范式：从监督任务定制 → 自监督预训练 + 任务微调 → 提示工程 + 人类对齐。
对从业者的三个实用认知：
- 不要低估架构创新的杠杆：Transformer 不是让模型“更聪明”，而是让“规模化训练”在工程上成为可能。没有它，就没有今天的千亿参数模型。
- 理解 RNN 为何退出主流：不是因为 RNN 不能建模语言，而是因为它的串行结构无法高效 Scale。在某些端侧小模型或时序任务中，RNN/LSTM 的变体仍有价值。
- BERT 路线并未消亡：今天你做 RAG（检索增强生成）时，用来把文档切成向量的 Embedding 模型，绝大多数仍基于 BERT 的双向架构。生成端用 GPT，理解端用 BERT，两条路线以新的形式共存。
在下一节 1.3 中，我们将跳出纯文本生成的视角，系统梳理今天大模型的完整能力边界——除了写东西，它到底还能在理解、推理、工具调用和多模态上做到什么程度，以及这些能力的边界在哪里。