在 15.2 节中我们提到，GPU 的存储层级里，显存（Video Memory / Device Memory）是与计算单元交互最频繁、容量最大的一级存储。对于大模型而言，显存不仅是“装得下模型”的容器，更是决定训练和推理效率的关键瓶颈——如果带宽不足，Tensor Core 再强也只能空转等待数据。本节把当前主流的两种显存技术掰开讲清，这是你在选型 GPU、估算集群成本或定位性能瓶颈时，必须掌握的硬知识。
一、两种技术路线：HBM 与 GDDR 的本质分野
今天的 GPU 显存主要分为两大阵营：
- HBM（High Bandwidth Memory，高带宽内存）：采用 3D 堆叠封装，主打超高位宽 + 高带宽，是数据中心级 GPU（如 NVIDIA A100/H100、AMD MI 系列）的标配。
- GDDR（Graphics Double Data Rate）：沿用传统平面封装，主打高频 + 成本控制，是消费级显卡（如 RTX 4090）和部分推理卡的主流方案。
它们不是简单的“高配 vs 低配”关系，而是面向不同场景的设计哲学选择。
二、HBM：为吞吐而生的立体高速公路
物理结构：HBM 的核心创新是 TSV（硅通孔）3D 堆叠。它将多颗 DRAM 裸片像叠罗汉一样垂直堆叠，再通过底层的硅中介层（Interposer）与 GPU 裸片进行 2.5D 封装，最终封装在同一块基板上。
为什么带宽能做到 TB 级？
带宽的经典公式可简化为：
带宽 = 位宽 × 频率 / 8
HBM 走的是“低频率、超高位宽”路线：
- 超高位宽：单颗 HBM 堆栈通过多达 1024 bit 甚至 2048 bit 的数据总线与 GPU 直连。作为对比，GDDR6 的单芯片位宽通常只有 32 bit，需要多颗环绕 GPU 才能组成 384 bit 总线。
- 较低频率：由于位宽极大，HBM 不需要跑到特别高的频率就能达到恐怖带宽，这反而降低了功耗和信号完整性难度。
- 近存计算：3D 堆叠让存储颗粒与计算单元的物理距离极短，走线延迟大幅降低。
典型数据：
- HBM2e：约 1.2–1.6 TB/s（如 A100 80GB）
- HBM3：约 2.0–3.35 TB/s（如 H100 SXM）
- HBM3e：超过 4.8 TB/s（如 H200、B200）
三、GDDR：成本优先的平面快速路
物理结构：GDDR 采用传统的 FBGA 平面封装，DRAM 颗粒分布在 GPU 核心周围的 PCB 基板上，通过金手指与核心互联。这是显卡行业沿用二十多年的成熟工艺。
技术特点：
- 高频驱动：GDDR6/GDDR6X 依赖极高的 I/O 频率（如 GDDR6X 可达 21 Gbps 以上）来弥补位宽不足。
- 位宽受限：受 PCB 面积和走线限制，消费级显卡的总位宽通常在 192 bit–384 bit 之间（如 RTX 4090 为 384 bit）。
- 功耗与延迟：高频带来更高的单 bit 功耗和发热，且物理距离较远，延迟相对 HBM 更高。
典型数据：
- GDDR6：最高约 1.0 TB/s（如 RTX 3090 Ti）
- GDDR6X：最高约 1.2 TB/s（如 RTX 4090）
四、核心差异对比表
| 维度 | HBM（数据中心级） | GDDR（消费级/部分推理级） |
|------|-------------------|---------------------------|
| 封装方式 | 3D 堆叠 + 硅中介层 2.5D 封装 | 传统平面封装，颗粒围绕核心 |
| 总线位宽 | 极宽（单堆 1024–2048 bit） | 较窄（单颗 32 bit，总计 256–384 bit） |
| 频率策略 | 中低频 | 超高频 |
| 带宽水平 | 2–5 TB/s 级 | 0.5–1.2 TB/s 级 |
| 单卡容量 | 更大（40GB–192GB 已量产） | 较小（8GB–48GB） |
| 功耗效率 | 每 bit 能耗更低 | 每 bit 能耗更高 |
| 成本 | 昂贵（占数据中心 GPU 成本相当比例） | 便宜，供应链成熟 |
| 典型 GPU | A100、H100、H200、MI300X | RTX 4090、3090、部分 T4/L4 级推理卡 |
| 延迟 | 相对较低 | 相对较高 |
五、带宽原理：为什么大模型“吃带宽”比“吃算力”更隐蔽
很多开发者第一次部署大模型时，会盯着 TFLOPS 选型，却忽略了显存带宽才是决定实际吞吐的隐形天花板。这里需要建立两个直觉：
1. 大模型是“内存密集型”任务
以推理阶段的 Decode 阶段为例：每生成一个 Token，都需要把整份模型权重从显存里读一遍（至少要把当前层读进计算单元）。这意味着：
带宽需求 = 模型参数量 × 生成 Token 数 / 时间
如果你的带宽是 2 TB/s，跑一个 70B 参数的 FP16 模型（140 GB 权重），理论极限下每秒也只能生成约 14 个 Token——这还没算 KV-Cache 的读写开销。如果带宽砍半到 1 TB/s，你的吞吐就直接腰斩，Tensor Core 再强也只能干等。
2. 训练中的“带宽墙”
训练时不仅有权重读取，还有前向激活值存储、反向梯度回传、优化器状态更新（尤其是 Adam 的一阶和二阶动量）。在 16.1 节我们将提到，当 batch size 不够大时，GPU 的算力利用率（MFU）往往受限于显存带宽，而非峰值算力。
六、大模型场景下的实用选型逻辑
场景 1：预训练与全参数微调（训练集群）
必选 HBM。训练千亿级模型时，显存容量要装下模型+梯度+优化器状态，带宽要喂饱 Tensor Core。没有 HBM 的超高带宽，千卡集群的 MFU 会低到无法接受。这也是 A100/H100 成为训练标准卡的原因。
场景 2：高并发推理服务（API 后端）
倾向 HBM，但需精算。HBM 的大容量和高带宽对 Batch 推理（Continuous Batching）和 KV-Cache 存储极为有利。但如果你的业务主要是中小模型（7B–13B）且并发量可控，GDDR6X 的消费级卡（如 RTX 4090）在成本上仍有竞争力——前提是显存容量足够装下模型和并发缓存。
场景 3：边缘推理与端侧部署
GDDR 或共享内存。在笔记本、工作站或边缘服务器上，GDDR6 甚至 LPDDR（集成于主板）是更现实的选择。此时通常配合模型量化（INT4/INT8）和极致的 KV-Cache 压缩（见 16.5 节）来弥补带宽和容量劣势。
七、两个常见认知误区
误区 1：“显存容量大 = 速度快”
容量决定“能不能装下”，带宽决定“装进去之后算得多快”。RTX 4090 有 24GB GDDR6X，单论容量可以跑 7B 甚至 13B 量化模型，但它的带宽（约 1 TB/s）不到 H100 的三分之一。在高 batch 推理时，你会明显感觉到它的吞吐瓶颈。
误区 2：“HBM 是 H100 专属，消费级很快也会普及”
短期内不会。HBM 的 2.5D/3D 封装工艺复杂、成本高昂，且对基板设计和散热有极高要求。消费级显卡的核心诉求是性价比和游戏帧率，GDDR6X 在未来几代仍将是主流。只有在数据中心级 AI 卡上，HBM 才会持续演进（HBM3e → HBM4）。
八、前沿趋势：HBM 容量竞赛与带宽墙缓解
当前行业面临的新矛盾是：HBM 带宽增速跟不上模型参数增速。H100 到 B200 的算力提升了数倍，但 HBM3e 的带宽提升相对温和。为此，业界从两个方向突围：
- HBM 堆栈增加：从 5/6 层堆叠向 8–12 层甚至更高堆叠演进，在有限物理空间内扩大容量和位宽。
- 近存计算 / 存内计算：在 HBM 内部或紧邻位置集成部分计算逻辑，减少数据搬运（NVIDIA 的 Grace-Hopper 超级芯片即尝试通过高带宽互联缓解部分压力）。
九、小结
HBM 和 GDDR 代表了显存设计的两种极致取舍：HBM 用 3D 堆叠和超高位宽换来了数据中心所需的极限带宽；GDDR 用高频和成熟工艺守住了成本敏感市场的性价比底线。
对大模型开发者而言，核心 takeaway 是：
- 训练场景：HBM 是刚需，带宽直接决定算力利用率；
- 推理场景：根据模型规模和并发量，在 HBM 数据中心卡与 GDDR 消费级卡之间做成本-性能权衡；
- 性能调优：当你发现 GPU 利用率（MFU）偏低时，先查带宽瓶颈，而非盲目加卡。
在 15.6 节中，我们将进入另一个与显存紧密相关的话题——计算精度（FP32、FP16、BF16、INT8、INT4）。精度不仅决定模型质量，也直接决定模型对显存容量和带宽的占用压力，两者结合才能形成完整的 GPU 选型与优化框架。