RAG 系统在实际部署中会产生多个环节的成本，包括大模型调用费用、向量数据库资源、嵌入服务开销、以及知识库维护的人力投入。如果不加控制，这些成本会随着用户量和文档规模的增长迅速攀升。合理的成本优化不是简单地“省钱”，而是在保持回答质量和响应速度的前提下，让每一分钱都花在真正产生价值的地方。
1. 大模型调用：最大开销的源头
在大多数 RAG 系统中，大模型的生成调用占据总成本的 70% 以上，因此这是优化的首要目标。
优化提示词长度
提示词中包含的检索片段数量直接决定输入 token 的消耗。很多系统默认取 top‑k 为 5 或 10，但实际上并非所有片段都对回答有用。可以通过以下方式精简：
- 设置相关性阈值：只将相似度分数高于设定值（如 0.75）的片段送入生成，筛掉贡献有限的内容。
- 动态调整 top‑k：根据问题类型调整召回数量，简单事实性问题用 2‑3 个片段即可，综合分析类问题再适当增加。
- 去重与截断：多个片段可能包含重复信息，可在检索后做简单去重；对过长的片段按字数截断，保留最核心段落。
在选择提示词模板时，也要避免过于冗长的指令。例如将“你是一个经验丰富、知识渊博的助手，请认真阅读以下内容并给出详细回答”精简为“根据以下内容回答”，在不影响效果的前提下，每次调用可节省数十到上百 token。
切换性价比更高的模型
并非所有场景都需要最强模型。实践中可以采用分层策略：
- 简单问答：用轻量模型（如 GPT‑4o mini、Claude 3 Haiku 或开源的小参数模型），成本仅为旗舰模型的 1/10 甚至更低。
- 复杂推理或对外展示场景：再切换到能力更强的模型。
- 问题分类前置：部署一个极小模型（甚至规则）先判断问题难度，然后自动路由到对应模型，实现成本和效果的最优平衡。
缓存常见问题结果
很多系统的用户提问高度重复。例如内部 HR 助手，每天可能有数十次“年假怎么算”。通过对常见问题的嵌入向量或原文进行缓存，当检测到高相似度问题时，直接返回缓存答案而无需重新调用 LLM。缓存命中率在成熟系统中可达 20%‑40%，直接削减相应比例的生成成本。
2. 嵌入与向量数据库优化
嵌入（embedding）调用和向量数据库的存储、查询也是持续消耗。
- 选对嵌入模型：不少开源嵌入模型（如 BGE、E5 系列）在小语种或垂直领域效果很好且调用免费，可替代商业 API。如果文档量级在百万以内，完全可以用本地部署的开源嵌入模型，将这笔成本降为零。
- 合理控制切片粒度：切片过小（如 100 字）会导致索引翻倍，增加存储和检索开销；切片过大则检索精度下降，可能需要在 prompt 中塞入更长的文本。通常 300‑500 字是一个较均衡的选择，可根据实际文档类型微调。
- 向量数据库选型：初期可以用轻量开源方案（如 Milvus Lite、Chroma、FAISS）直接跑在现有服务器上，无需额外支出。数据量增长后再评估托管服务或专用集群。
3. 知识库维护成本控制
知识库的内容质量直接影响回答效果，但维护工作应尽量轻量化，避免成为人力黑洞。
- 批量处理代替逐条手动维护：尽量将文档上传、分块、索引流程自动化。通过脚本监听文件夹变化，检测到新增或修改后自动重新分块与入库。
- 让业务人员直接参与：提供简易的后台界面或文档模板，让 HR、客服、产品等实际使用者自己更新内容，减少技术人员的“传话”成本。
- 版本控制与回滚：知识库更新前保留旧版本切片快照，一旦新内容引入错误，可一键回滚，降低试错代价。
4. 监控与量化，避免盲目优化
成本优化的前提是清楚钱花在了哪里。建议建立基础的用量和费用仪表盘，实时跟踪：
- 每日 LLM 调用次数、输入/输出 token 总量、对应费用；
- 嵌入调用次数与成本；
- 缓存命中率与节省估算；
- 各应用场景（如面向客户的聊天、内部问答）的成本拆分。
这些数据能帮助定位成本热点。例如，当发现某一类简单问题消耗了大量 token 时，就可以有针对性地引入缓存或切换到轻量模型。
5. 一个真实的优化效果案例
某 SaaS 公司为客服部门部署了 RAG 知识库助手，初期每日 LLM 调用费用约 $120。经过一轮成本审视：
- 将嵌入模型从商业 API 切换为本地运行的 BGE‑small，节省 $15/日；
- 设置相似度阈值 0.8，并限制最多取 3 个片段，平均 prompt 长度缩短 35%，节省 $30/日；
- 实现问题缓存，命中率约 30%，节省 $36/日；
- 对 80% 的常规问题路由到 GPT‑4o mini，复杂问题保留旗舰模型，节省 $20/日。
优化后每日费用降至约 $20，降幅超过 80%，而用户反馈的回答质量并没有可感知的下降。这个过程中积累的用量数据，也为后续的容量规划和预算编制提供了可靠依据。
成本优化是一个持续的过程，需要在质量和开销之间找到最适合业务的平衡点。最好的优化不意味着追求零成本，而是用同样的预算支撑更多用户、更复杂的场景，让 RAG 系统的价值最大化。