在第 12 章和第 13 章中，我们详细拆解了各家闭源与开源模型的能力差异。但回到真实的会议室场景，技术负责人面临的问题往往更直接：“我们到底该直接买 API，还是自己买机器、下模型、搭一套私有的？”
这个问题没有标准答案，但有一套清晰的决策逻辑。选错了，轻则每年多烧数百万冤枉钱，重则因数据合规被监管叫停。本节把选型的核心维度拆成一张决策树，帮你把“拍脑袋”变成“算细账”。
一、两种路径的本质差异
先对齐概念：
- 闭源 API：通过 HTTP 接口调用第三方模型（如 OpenAI GPT-4、Anthropic Claude、文心一言、通义千问等），按输入/输出 Token 量计费。模型权重、训练数据、推理框架全部托管在供应商云端。
- 开源私有化部署：下载开源模型权重（如 Llama 3、Qwen 2、Mistral 等），在自己的服务器或私有云上进行推理服务化，数据不出域，模型本地化运行。
核心差异速查表：
| 维度 | 闭源 API | 开源私有化部署 |
|------|----------|----------------|
| 数据主权 | 数据上传至供应商服务端，存在出境/出域风险 | 数据完全在本地流转，可控可审计 |
| 成本结构 | OPEX（运营支出），按 Token 用量阶梯计费 | CAPEX（硬件采购）+ OPEX（电费、运维），固定成本高，边际成本低 |
| 模型能力 | 通常代表当前业界最高水平（GPT-4、Claude 3.5 等） | 取决于选型，顶尖开源模型（Llama 3 405B、Qwen2-72B）接近但不完全等同于顶级闭源模型 |
| 定制化深度 | 受限，仅能通过 Prompt 工程、RAG 和供应商提供的有限微调接口调整 | 全链路可控，可全量微调、改架构、剪枝、量化、融合领域知识 |
| 延迟与稳定性 | 依赖供应商网络，高峰期可能降速或限流 | 本地网络延迟极低，稳定性自主可控，但工程维护责任自负 |
| 合规审计 | 需依赖供应商的资质证明（等保、SOC2、GDPR 承诺等） | 自主承担全部合规责任，内部审计路径清晰 |
二、选型五维评估：先问自己这五个问题
在画决策树之前，先过一遍五个核心维度。任何单一维度都可能直接一票否决某个选项。
维度 1：数据敏感度与合规红线
这是最直接的红线问题。
- 必须私有化：金融核心交易数据、国家级涉密文档、患者隐私病历（未脱敏）、军工/政务内网、欧盟 GDPR 或中国《个人信息保护法》下有严格本地化要求的场景。
- 可以 API：公开客服 FAQ、通用营销文案、已脱敏的用户行为日志、非核心业务的常规文本处理。
实用认知：国内使用海外 API（如 OpenAI）还涉及数据跨境传输合规问题。即使技术上能翻墙，从合规角度，生产环境中的核心业务数据直接上境外 API 存在明确的政策风险。
维度 2：成本模型与调用规模
这是最容易算错账的地方。
- API 成本公式：
每月费用 ≈ (输入 Token 数 + 输出 Token 数) × 单价。以 GPT-4 Turbo 级别模型为例，每百万 Token 输入约 10 美元、输出约 30 美元。如果你日均消耗 10 亿 Token，月成本轻松达到数十万人民币。 - 私有化成本公式：
一次性硬件投入 + 每月电费/机房/人力。参照 2.1 节的参数-显存换算，部署一个 70B 参数的 FP16 模型，至少需要 2 张 A100（80G）或 8 张 4090，硬件成本 20–40 万元；若用 INT4 量化，可压到单台 8 卡 A100 同时服务多个模型。
盈亏平衡点（粗略估算）：
- 中小规模（月消耗 < 5 亿 Token）：API 通常更便宜，无需硬件折旧。
- 大规模高频（月消耗 > 50 亿 Token，或高并发低延迟场景）：私有化长期看更划算，且不受供应商涨价影响。
维度 3：业务是否需要深度改造模型
- API 足够：通用问答、常规文案生成、标准多轮客服、简单代码补全——这些场景靠 Prompt 工程和 RAG 即可解决，不需要动模型权重。
- 必须开源：需要注入大量私有领域知识（如某律所内部判例库、某药企分子式数据）、需要改变模型的输出格式或推理链（如特定的诊断决策流程）、需要在端侧/离线环境运行（如矿井、远洋船舶、边缘工厂）。
维度 4：技术储备与人才密度
私有化不是下载个权重文件点个运行按钮那么简单。参照 1.4 节的五层架构，你需要至少覆盖：
- 算力层：GPU 采购、显存优化、CUDA 环境维护；
- 工程层：vLLM/TensorRT-LLM 部署、高并发服务化、监控告警、模型版本管理；
- 算法层：微调（LoRA/QLoRA，见第 10 章）、数据清洗、评估迭代。
如果团队没有 2–3 名熟悉 AI Infra 的工程师，私有化之路会非常痛苦，API 是更务实的起点。
维度 5：对模型能力天花板的硬性要求
当前（2024 年）业界共识是：顶级闭源模型（GPT-4o、Claude 3.5 Sonnet）在复杂推理、多步指令遵循、创意写作上仍领先顶级开源模型一个身位。如果你的业务是面向 C 端的智能助手，用户体验直接决定留存，闭源 API 可能是唯一选择；如果你的业务是 B 端内部提效，开源 70B 模型的能力往往已经溢出。
三、决策树：一张图理清选型路径
基于上述五维，以下是可直接套用的决策流程：
开始
│
├─ 数据是否涉及核心机密/严格本地化合规？
│ ├─ 是 → 走【开源私有化部署】（至少核心链路私有化）
│ └─ 否 → 继续
│
├─ 业务是否必须深度定制模型行为/端侧离线运行？
│ ├─ 是 → 走【开源私有化部署】
│ └─ 否 → 继续
│
├─ 团队是否具备 AI Infra 运维与微调能力？
│ ├─ 否 → 走【闭源 API】（或采购厂商私有化一体机）
│ └─ 是 → 继续
│
├─ 月均 Token 消耗是否极高（>50亿）或延迟要求极严？
│ ├─ 是 → 【开源私有化部署】或【混合架构】
│ └─ 否 → 继续
│
├─ 是否需要当前最强的通用推理/创意能力？
│ ├─ 是 → 【闭源 API】
│ └─ 否 → 【开源私有化部署】（性价比最优）
│
└─ 结束决策树之外的特殊选项：如果团队没有技术储备但数据必须本地化，可考虑国产大模型厂商的私有化一体机/专属云方案（如百度智能云千帆、阿里云百炼专属版、智谱 AI 企业私有化部署）。这是介于纯 API 和纯自研之间的中间态，本质是用钱买服务，换数据不出域。
四、第三条路：混合架构才是多数企业的终局
在现实生产中，非黑即白的选型越来越少。更多企业采用分层混合架构：
| 层级 | 方案 | 典型场景 |
|------|------|----------|
| 敏感数据处理层 | 本地开源小模型（7B–14B）或本地 Embedding 模型 | 文档脱敏、RAG 向量检索、内部知识库构建 |
| 通用能力层 | 闭源 API（GPT-4/Claude/国内大模型 API） | 复杂推理、创意生成、代码辅助、多模态理解 |
| 高频低智层 | 本地轻量化模型（3B–7B，量化后） | 实时客服寒暄、简单分类、格式校验、敏感词过滤 |
| 缓存层 | 本地 Redis + 语义缓存 | 降低重复查询的 API 调用成本 |
混合架构的收益：把最贵的 API Token 用在刀刃上，把可本地化的场景压到边际成本趋近于零。
五、四个常见选型误区
在帮企业做咨询时，以下误区出现频率极高：
误区 1：“私有化部署一定更省钱”
真相：如果日调用量不足，私有化意味着一次性投入数十万硬件+持续投入 1–2 名工程师，摊销下来可能比 API 贵 5–10 倍。省钱的前提是量够大。
误区 2：“用 API 就不安全，私有化就绝对安全”
真相：私有化后，如果你的团队缺乏安全运维能力，内部接口暴露、模型权重被盗取、日志泄露的风险可能更高。API 供应商通常有专业的安全团队。安全是系统工程，不是简单的物理隔离。
误区 3：“开源模型免费，所以成本低”
真相：开源指的是权重和代码的开源许可，不等于算力和人力免费。参照 2.1 节，70B 模型的显存占用和电费都是硬支出。
误区 4：“选了一个就要坚持到底”
真相：大模型迭代速度以月计。建议采用可逆架构：上层业务通过统一接口（如 OpenAI-compatible API 格式）对接模型，底层随时可替换。今天用 API，明天流量大了切私有化，不应涉及业务代码重构。
六、小结
闭源 API 与开源私有化部署不是信仰之争，而是成本结构、合规约束、技术能力和业务需求的函数。
关键 takeaway：
- 红线优先：数据合规是硬约束，触碰红线直接锁死选项；
- 算清总账：比较成本时，要把硬件折旧、人力、电费、机会成本全部纳入，而非只看 API 单价；
- 拥抱混合：绝大多数成熟企业最终会走向“敏感任务本地小模型 + 复杂任务 API 大模型”的混合架构；
- 保持可逆：通过统一抽象层封装模型调用，避免被单一供应商或单一部署形态锁定。
在 14.2 节中，我们将进一步下沉到具体业务场景——对话、代码、客服、推理、多模态——给出更细粒度的模型选型建议，以及如何在成本与效果之间找到属于你的最佳平衡点。