在构建 RAG 系统时，仅凭“看起来不错”的主观感受远远不够。我们需要一套可量化、可复用的评估维度，来客观衡量回答的质量，并为持续优化提供方向。以下四个维度是业界最常使用、也最贴近实际业务需求的评估指标。
1. 忠实度（Faithfulness）
定义：忠实度衡量生成的回答是否严格基于所提供的来源文本（即检索到的知识库片段），而不是模型凭空编造的。
为什么重要：忠实度直接对应“幻觉”的程度。如果回答中的事实无法从提供的材料中找到依据，哪怕表述再流畅，也是不可信的。在企业场景中，一条数据错误可能比没有回答带来更大的风险。
评判方式：将回答拆分成若干原子级声明（例如“年假为18天”“折算比例250%”），然后逐一检查每个声明是否可以在检索到的原文片段中找到确切依据。理想情况下，所有事实性声明都应该有出处。
实用建议：
- 在提示词中明确要求“仅使用所提供的资料回答”，可以提升忠实度。
- 定期抽检回答，对无法溯源的表述进行标记，反哺知识库或检索策略。
2. 相关性（Relevance）
定义：相关性衡量检索结果和最终回答是否针对用户问题的核心需求，而不被无关内容冲淡。
为什么重要：即使知识库内容本身准确，如果检索环节拉入了大量无关信息，或者生成环节没抓住重点，用户得到的可能是一段正确但“答非所问”的文字，效率大打折扣。
评判方式：
- 检索相关性：评估召回的文档片段与问题的语义匹配程度。理想结果是 top-k 片段中大部分确实含有回答问题所需的关键信息。
- 回答相关性：评估最终答案是否直接、准确地回应了用户意图。例如，用户问“怎么请假”，回答应该给出操作步骤，而不是大段讲请假制度的历史沿革。
实用建议：
- 通过调整检索数量 k、采用混合检索（关键词+向量）等方法优化检索命中率。
- 在提示词中要求模型“直接回答问题，避免涉及不相关背景”。
3. 完整性（Completeness）
定义：完整性衡量回答是否涵盖了问题的所有关键方面，没有遗漏重要信息。
为什么重要：一个只回答了一半的问题，往往意味着用户需要二次询问或自行补充信息，这降低了系统的可用性和用户满意度。在需要多因素回答的场景（如对比分析、操作步骤）中，完整性尤其关键。
评判方式：根据问题预定义“必要信息点清单”，检查回答是否逐条覆盖。例如对于“出差申请需要哪些材料？”期望包含《出差申请表》、主管审批邮件、预算编号等，缺任一内容即为不完整。
实用建议：
- 检索时适当增加召回数量，降低关键信息被漏捡的概率。
- 提示词中加入“请确保覆盖所有相关要点”之类的指令，有时也能奏效。
- 若知识库本身就碎片化，需要从文档源头上补充、整合，保障单一切片的信息完整度。
4. 流畅度（Fluency）
定义：流畅度衡量回答的语言表达是否自然、通顺、无语病，且符合人类交流习惯。
为什么重要：即使内容准确全面，如果语句生硬、混杂原文乱码，会严重影响阅读体验和信任感。在面向终端用户的产品中，流畅度是“可用”的基本门槛。
评判方式：通常由人工或辅助性语言模型判断句子是否存在语法错误、不自然的拼接、奇怪的停顿或跨语言混杂。理想回答应是一段连贯、易读的自然语言。
实用建议：
- 生成阶段适当控制温度等参数，避免过于“放飞”。
- 对检索片段的预处理（如去掉无关格式符号、截断不完整句子）能减少对生成流畅性的破坏。
- 在提示词中要求“将信息整合为通顺的回答”，给模型明确的表达指引。
四者之间的关系与平衡：
这四个维度并非独立，它们之间存在常见的权衡：
- 追求高忠实度可能需要让回答紧贴原文，这可能会牺牲一定流畅度；
- 为了提升完整性而纳入更多检索片段，又可能引入噪音，降低相关性；
- 过于强调流畅，可能让模型“润色”时不经意扭曲事实，损害忠实度。
因此，评估 RAG 系统时应综合考虑四个维度，并结合业务场景设定优先级。例如，医疗和法律助理对忠实度和相关性的要求远高于流畅度；而面向消费者的客服助手，则需要四者的均衡表现。
通过持续监控这四个指标，团队能系统性定位 RAG 系统的薄弱环节——是检索没找对文档，还是生成时“篡改”了事实，从而对症优化。