在 10.1 节中，我们讨论了全参数微调（Full Fine-tuning）：解冻全部预训练权重，使用领域数据端到端更新。这是效果最彻底的方式，但也是成本最昂贵的方式——一个 70B 参数的模型，全量微调通常需要数百 GB 显存、多卡张量并行和数天甚至数周的计算时间。对于绝大多数企业与个人开发者而言，这种“重炮轰蚊子”的模式既不经济也不必要。
参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）由此成为工程实践中的首选方案。其核心思想非常朴素：预训练阶段已经学到了通用的语言表示，微调时不必推翻重来，只需在关键位置引入少量可训练的“旁路”或“修饰”，引导模型输出适配特定任务即可。本节将深入四种最具代表性的 PEFT 方法，并给出选型与调参的实战建议。
一、PEFT 的通用框架与优势
无论具体实现如何变化，PEFT 方法都遵循同一套范式：
- 冻结 backbone：预训练权重保持不动，既不更新也不参与反向传播的梯度计算；
- 注入适配器：在 Transformer 的特定层（通常是 Attention 或 FFN）插入小型可训练结构；
- 只训新增量：反向传播仅更新这些新增参数，显存占用和计算量大幅下降；
- 部署时合并（可选）：部分方法支持将训练后的增量参数与原始权重合并，推理阶段零额外开销。
相比全量微调，PEFT 的典型收益是：显存占用降低 50%–90%，训练速度提升数倍，且显著缓解灾难性遗忘（因为通用知识所在的原始权重未被扰动）。
二、LoRA：低秩适配（最主流）
LoRA（Low-Rank Adaptation） 由微软于 2021 年提出，是目前工程界使用最广泛的 PEFT 方法。
原理与直觉
Transformer 中的权重更新具有“内在低秩结构”——观测发现，当模型适应特定下游任务时，权重的实际变化量 ΔW 往往落在一个很低的维度子空间中。因此，不必直接训练一个与原始权重同维度的 ΔW，而是将其分解为两个更小的矩阵相乘：
W = W₀ + ΔW = W₀ + B × A- W₀：预训练权重（冻结，维度 d×d）
- A：降维矩阵（维度 r×d，随机初始化，高斯分布）
- B：升维矩阵（维度 d×r，零初始化）
- r：秩（rank），通常取 4、8、16、64，远小于 d
训练时，输入 x 同时经过冻结的 W₀ 和旁路 B×A，输出相加；推理时，如果追求零延迟，可预先将 B×A 计算合并进 W₀，得到 W' = W₀ + B×A，此时推理速度与原始模型完全一致。
工程实践要点
- 在哪里插入：标准做法是在 Attention 的 Q、V 投影矩阵（Wq、Wv）以及 FFN 的输入/输出层插入 LoRA。对大多数文本任务，只改 Q、V 已能获得 90% 以上的效果；对复杂任务（如代码、数学），建议同时覆盖 K、O 和 FFN。
- 秩 r 的选择：r 不是越大越好。r=4–8 适合风格迁移、情感分析等简单任务；r=16–64 适合需要大量知识注入的领域微调（如医疗、法律）。继续增大到 256 以上，收益递减且显存回升，接近全量微调。
- 缩放系数 α：实际更新量还需乘以 α/r。常见配置是 α=2r 或 α=r。若训练欠拟合，可调大 α；若过拟合，调小 α 或增大 r 配合更多数据。
- 数据量：LoRA 对数据量非常敏感。通常 1 万–10 万条高质量指令数据是甜点区；数据过少（<1000 条）容易过拟合，表现为模型输出僵化的模板句。
三、QLoRA：量化+LoRA 的极致显存优化
QLoRA 在 LoRA 基础上引入了 4-bit 量化，将显存压缩推向极致，使得在单张消费级 GPU（如 24GB 显存的 RTX 4090）上微调 70B 模型成为可能。
核心技术组件
- 4-bit NormalFloat（NF4）量化：这是针对正态分布权重优化的信息论量化方案。它将权重从 FP16 压缩到 4-bit，同时保留离群值（outliers）的精度——观测发现 LLM 权重近似高斯分布，NF4 比朴素的 INT4 量化信息损失更小。
- 双量化（Double Quantization）：对量化常数本身再进行 8-bit 量化，进一步压缩显存。
- 分页优化器（Paged Optimizers）：利用 CPU 内存做分页缓冲，当 GPU 显存不足时将优化器状态临时卸载到主机内存，避免 OOM（Out of Memory）。
- 冻结的 4-bit 基座 + FP16/BF16 LoRA：预训练权重以 4-bit 存储在前向/反向传播中，但在计算矩阵乘法时动态反量化为 BF16；LoRA 的 A、B 矩阵始终保持 16-bit 精度，确保梯度更新的稳定性。
显存对比（以 70B 模型为例）
| 方案 | 模型权重 | 梯度/优化器 | 激活值 | 总显存估算 |
|------|----------|-------------|--------|------------|
| 全量微调（BF16） | ~140 GB | ~420 GB | ~20 GB | >500 GB（需多机） |
| LoRA（BF16） | ~140 GB | ~数 GB | ~20 GB | ~160–180 GB（需多卡） |
| QLoRA（4-bit） | ~35–40 GB | ~数 GB | ~10 GB | ~50–60 GB（单卡 A100 可行） |
工程陷阱
- 速度折损：4-bit 反量化带来约 20%–40% 的吞吐下降，训练时间比 LoRA 更长；
- 精度敏感任务：如果下游任务涉及精确数值推理（如金融计算、代码执行），4-bit 量化可能放大误差，建议改用 8-bit 量化或标准 LoRA；
- 硬件兼容性：NF4 依赖 bitsandbytes 库，对较老的 GPU（如 Pascal 架构）支持不佳。
四、IA³：通过学习缩放向量抑制与放大内部激活
IA³（Infused Adapter by Inhibiting and Amplifying Inner Activations） 由 Google 提出，与 LoRA 属于同一思想家族，但实现方式更“轻量化”。
原理
IA³ 不修改权重矩阵本身，而是学习三个缩放向量（learned scaling vectors）：
- 分别乘在 Attention 的 Key（l_k）、Value（l_v） 和 FFN 的 第二个线性层（l_ff） 的输出激活上。
- 公式表达：
output = l ⊙ (W × x)，其中 ⊙ 是逐元素乘法（Hadamard product），l 是可训练向量，W 冻结。
通过训练，模型学会在某些维度上放大对任务有用的信号，抑制无关噪声。
与 LoRA 的关键差异
- 参数量更少：IA³ 只学习向量（维度 d），而 LoRA 学习矩阵（维度 d×r 和 r×d）。对同一层，IA³ 参数量约为 LoRA 的 1/(2r)；
- 推理零开销：与 LoRA 类似，训练后的缩放向量可以合并进原始权重（相当于对 W 的列做缩放），合并后推理速度与原模型完全一致；
- 表达能力：LoRA 通过低秩矩阵能学习更复杂的线性变换；IA³ 仅限逐通道缩放，理论表达能力弱于 LoRA。但在分类、抽取等中等复杂度任务上，两者效果通常持平。
五、Prefix Tuning：在注意力键值前加“软提示”
Prefix Tuning 与后面将提到的 Prompt Tuning 容易混淆，核心区别在于：Prefix Tuning 在 Transformer 每一层的 Key 和 Value 序列前，前置一段可训练的连续向量（虚拟 Token）；而 Prompt Tuning 只在输入嵌入层加前缀。
原理
对于 Transformer 的每一层 l：
- 原始注意力计算中，Key 序列是
K_l = W_k × X_l - Prefix Tuning 将其变为
K_l = concat(P_k^l, W_k × X_l)，其中P_k^l是可训练前缀（长度通常为 10–50），同理作用于 Value。
这些前缀向量充当可学习的“任务指令锚点”，通过注意力机制影响后续所有 Token 的表示，而不改变任何原始权重。
特点与局限
- 参数量可控：若前缀长度 m=20，层数 L=24，隐藏维度 d=4096，则总参数量 = 2 × m × L × d ≈ 400 万，仅占原模型的 0.01%；
- 长文本微调友好：由于不修改权重，对长上下文扩展（Long Context）的兼容性最好；
- 效果天花板较低：Prefix Tuning 更适合简单任务适配或风格控制；对于需要模型深度改写知识结构（如将一个通用模型变成专业医生）的场景，表现通常弱于 LoRA；
- 推理有额外开销：前缀必须保留在 KV-Cache 中，会增加显存占用和首 Token 延迟。
六、四种方法横向对比
| 维度 | LoRA | QLoRA | IA³ | Prefix Tuning |
|------|------|-------|-----|---------------|
| 核心机制 | 低秩旁路矩阵 ΔW = B×A | LoRA + 4-bit 基座量化 | 可学习激活缩放向量 | 每层 K/V 前加可训练前缀 |
| 新增参数量 | 较大（与 r 成正比） | 同 LoRA | 最小（仅向量） | 小（与前缀长度成正比） |
| 训练显存 | 中（需加载 FP16/BF16 基座） | 极低（单卡可训 70B） | 低（与 LoRA 相近或略低） | 低 |
| 推理开销 | 零（可合并权重） | 零（可合并） | 零（可合并） | 有（KV-Cache 增加） |
| 表达能力 | 强 | 强（略受量化损） | 中等 | 较弱 |
| 适用场景 | 通用首选，领域知识注入 | 显存极度受限、个人开发者 | 分类/抽取、资源极度敏感 | 风格迁移、轻量指令跟随 |
| 工程成熟度 | 极高（Hugging Face PEFT 生态完善） | 高（bitsandbytes 集成） | 中（Hugging Face 支持） | 中（研究场景更多） |
七、开发者选型指南
场景一：企业级领域微调（医疗、法律、金融）
推荐 LoRA（r=16–64）
- 数据量通常充足（万级以上），需要模型深度吸收领域术语和推理模式；
- 若显存允许，优先 BF16 基座 + LoRA；若显存不足，退到 QLoRA（8-bit 而非 4-bit，减少精度损失）。
场景二：个人开发者 / 学术实验 / 单卡环境
推荐 QLoRA
- 单张 RTX 4090（24GB）即可尝试 70B 模型；
- 务必开启
gradient_checkpointing和max_memory分配，配合分页优化器。
场景三：海量模型并行服务（数千个下游适配器）
推荐 LoRA / IA³
- 基座权重共享，每个租户只加载微小的 LoRA 权重（几十到几百 MB），可实现热切换；
- IA³ 因参数量更小，在超大规模多租户场景下存储优势更明显。
场景四：快速原型验证 / 风格轻调
推荐 Prefix Tuning 或 Prompt Tuning
- 如果任务只是“让模型说话更正式”或“固定输出 JSON 格式”，无需改动权重，直接在提示空间优化即可。
八、PEFT 的隐性成本与误区
- “参数高效”不等于“数据高效”：PEFT 省的是算力和显存，不是数据。如果你的领域数据只有几百条，即使使用 LoRA 也会过拟合。高质量数据扩增（回译、Self-Instruct、角色扮演构造）往往比调大 r 值更重要。
- 学习率要调大：由于可训练参数少，PEFT 通常需要比全量微调高 10 倍甚至 100 倍的学习率（如 1e-4 到 1e-3），并配合更短的 Warmup。
- 不要只训最后一层：实验表明，在 Transformer 浅层（前 1/3）加 LoRA 对语义理解任务同样重要。只改最后几层往往导致模型“死记硬背”输出格式，而缺乏深层语义对齐。
- QLoRA 的量化感知：QLoRA 训练出的 LoRA 权重与 FP16 基座不兼容。若后续要合并部署到不支持 4-bit 的推理框架（如某些早期版 TensorRT-LLM），需先在 BF16 基座上重新加载并合并。
九、小结
参数高效微调是大模型工程化的分水岭：它让“微调”从只有少数科技巨头才能负担的算力盛宴，变成了中小团队和独立开发者触手可及的工具。
- LoRA 是通用任务的“瑞士军刀”，生态最成熟，应作为默认首选；
- QLoRA 是显存受限场景的“救命稻草”，用时间换空间；
- IA³ 在超大规模多租户部署中展现存储优势；
- Prefix Tuning 则是轻量适配的“无侵入”方案。
在 10.3 节中，我们将进入 SFT（监督微调）的实战环节：如何构建高质量指令数据集、配置训练超参、以及避开那些让微调结果从“可用”滑向“不可用”的典型陷阱。