RAG 系统上线只是第一步，持续用好它，离不开对知识库的有效管理、对检索生成效果的反复调优，以及对运行数据的系统性观察。这三个环节共同构成了 RAG 的日常运维闭环，让系统从“能用”进化到“好用”。
一、知识库管理：让资料持续“干净、准确、可维护”
知识库是 RAG 的事实根基，它的质量直接决定回答的可信度。管理知识库的核心原则是：资料可追溯、更新可操作、垃圾可清理。
1. 文档入库规范
- 格式统一：尽量使用可提取文字的标准化格式（如 PDF、Markdown、Word），避免扫描件、图片文字等需要额外 OCR 的形态，减少信息丢失。
- 元数据标注：每份文档入库时，应附上基础元数据，如文档标题、版本号、发布部门、生效日期、标签（如“政策”“产品手册”“FAQ”）等。这些信息在检索时可作为过滤条件，提高命中精度。
- 内容去重：入库前检查与已有文档的重复程度，避免同一信息被多次索引，导致回答偏向或冗余。
2. 切块与组织策略
- 切块大小：没有万能数值，通常根据文档类型设置。政策类、条款类文档适合小块（200~400 tokens），技术说明等连贯性强的可以考虑更大块（500~800 tokens）。可通过实验确定最佳范围。
- 重叠设置：适当的分块重叠（10%~20%）可以防止关键信息被切断，保证语义完整性。
- 层级标记：如果文档结构清晰（有标题、章节），在切块时保留章节标题，拼接到 chunk 内容中，如“【员工福利-年假政策】……”，有助于检索时上下文更明确。
3. 更新与版本控制
- 增量更新优先：新增或修改某条政策时，不要整个库重建，而是定向更新对应的切片。可将旧切片标记删除，插入新切片。
- 变更日志：维护简单的变更记录，知道哪份文档何时更新，方便追溯问题。
- 定期全量复核：每季度或每半年，人工抽查一批文档内容的准确性与时效性，将过期、废止的文档及时下线。
4. 清理与维护
- 过期文档下线：比如旧版报销标准、已废弃的流程说明，必须在知识库中删除或置为不可检索状态。
- 低质内容治理：如果发现某条 FAQ 回答质量差、信息含糊，直接在源头上修改文档或剔除，不必在模型侧打补丁。
- 目录与分类：可按部门、主题建立文档集，在检索时通过过滤条件缩小范围，提升准确率。
二、效果调优：让回答准、快、可信
RAG 效果调优不是一次性工程，而是一个根据反馈持续校准的过程。优化方向主要有三个：检索质量、生成质量，以及二者的配合。
1. 检索调优
- 嵌入模型的选择：不同模型对特定领域语言的敏感度不同。有条件时可对比通用模型（如 text-embedding-3-small）与垂域微调后的模型，选择检索命中率更高的。
- Top‑K 与相似度阈值：K 太小可能遗漏关键信息，太大则引入噪音。可以先从 3~5 起步，观察回答的准确率，逐步调整。同时设一个相似度下限（如 0.7），低于此分的片段不纳入上下文。
- 混合检索：单纯的向量检索可能对精确的关键词不敏感。结合关键词 BM25 检索进行混合，能兼顾语义和精确匹配，尤其适合条款编号、产品型号等精确查找。
- 重排序（Reranking）：如果初筛后片段仍较多，可用轻量级重排序模型，对 top‑K 结果再排序，只取最相关的几条送入生成，提高信噪比。
2. Prompt 优化
- 明确角色与边界：在系统提示中清晰定义助手的身份（如“你是公司内部政策咨询助手”），并明确限制“只根据提供的资料回答，无法回答的问题请直接说明”。
- 引用强制要求：要求模型在回答末尾或关键句后标注引用来源（如【来源：XXX文档】），这能有效抑制自由发挥。
- 输出格式规范：当需要结构化回答时，可通过提示词指定输出格式（如分条列出、对比表格），减少后续人工整理成本。
- 抗干扰指令：如果检索回的片段中包含矛盾或无关信息，可加入指令“忽略与问题无关的内容，如材料不足请告知”。
3. 分块策略回看
- 如果频频出现回答“断章取义”或遗漏上下文，很可能是因为关键信息被切分到了两个 chunk 中。此时可调整分块大小或增加重叠区域，甚至对特定文档手工划分段落。
- 对于表格、Q&A 类文档，考虑按逻辑单元（如每条问答、每个表格行）切块，而非固定 token 切分。
4. 反馈驱动的闭环
- 用户“踩”或“答非所问”的反馈，是绝佳的优化信号。定期分析这类 badcase，判断问题出在检索没命中、信息过时，还是生成理解偏差，然后对症下药。
- 可以构建一个小型测试集，包含典型问题和期望答案，每次调整后自动跑一遍，观察整体指标变化。
三、数据统计：用指标看懂系统运行状态
没有数据，调优就只是在“凭感觉”。一套基础的数据统计体系，能帮你发现隐患、验证优化效果，并向业务方展示价值。
1. 核心指标
- 问答量 & 活跃用户数：反映系统使用情况，是最基础的健康指标。
- 检索命中率：检索后至少有一条结果相似度高于阈值的比例。过低说明知识库覆盖不全或索引有问题。
- 无效问题占比：用户提问无法检索到任何相关文档的比例，可帮助识别知识盲区。
- 回答准确率（抽样评估）：定期随机抽检回答，人工判断是否事实正确、是否依据资料。这是质量的“金标准”。
- 用户反馈分布：统计“有帮助/无帮助”的比例、具体反馈标签（如“信息过时”“未找到答案”“回答太啰嗦”等），快速定位短板。
2. 日志记录要点
- 每个问答周期的查询文本、检索到的 chunk ID 列表及相似度分数、最终生成的回答、用户反馈（如有）都应记录。
- 隐私注意：记录时需脱敏用户输入，避免泄露个人信息或业务机密。
- 可追溯链：确保一条日志能串起“问题→检索片段→最终回答”，方便问题回溯。
3. 简单分析应用
- 高频问题识别：统计被提问次数最多的 top‑N 问题，优先将这些回答打磨精良，甚至可以直接制作标准 FAQ 放入知识库。
- 知识缺口发现：将“无结果”或相似度极低的问题聚类，提炼出需要补充的新文档主题。
- 版本效果对比：更新知识库或调整提示词后，对比前后周期的准确率、用户满意度，验证改动是否正向。
4. 实用建议
- 不必一上来就构建复杂的数据看板，先用简单的 CSV 日志加 Excel 透视表，就能看出很多趋势。
- 尽量让业务人员参与抽检评估，他们比工程师更清楚“怎样才算对”。
- 当系统稳定后，可逐步引入自动化评估（如用另一模型对回答打分），但要始终保留人工抽检环节，防止指标失真。
知识库管理、效果调优与数据统计，三者相辅相成：管理保证原料质量，调优提升加工水平，统计则给出方向指引。把这三个环节做成常态化的运行机制，你的 RAG 系统就拥有了持续进化的能力，而不仅仅是一个一次性交付的项目。