在 RAG 流程中，检索阶段通常会召回多个候选文本片段（例如向量相似度 top‑20 或 top‑50）。然而，向量相似度仅仅是基于语义粗略匹配的结果，并不能完全保证最相关的片段就一定排在最前面。如果直接将向量检索的排序结果送入生成模型，很可能出现“真正有用的信息被挤在靠后位置，甚至超出上下文窗口”的情况。排序优化（又称重排序，re‑ranking）的目的，就是对这些候选片段进行二次精选和重排，让最相关的片段优先进入最终的生成上下文。
14.4.1 为什么需要重排序
初检结果常见的问题：
- 语义相近但实际无关：向量相似度可能把“如何申请退款的步骤”排在“退款到账时间”前面，而用户问的恰恰是后者。
- 碎片化信息分散：同一文档中不同章节的相关内容可能分散在多个 chunk，但它们的初始排名并不连续，直接喂给模型会导致信息割裂。
- 跨领域干扰：知识库中不同主题的文档可能因偶然的词共现而被误判为相关，挤占有限的上下文空间。
重排序通过采用更精确的相关性判断模型，对初检结果进行精筛，可以有效提升最终回答的准确性。
14.4.2 常见的重排序方法
实践中主要有以下几种方案，按实现复杂度和收益递增排列：
1. 基于交叉编码器的重排序模型
这是目前最主流也最有效的方式。与生成向量时使用的双编码器（bi‑encoder，分别对问题和文档编码）不同，交叉编码器（cross‑encoder）将问题与候选文档拼接后一同输入模型，通过深度交互计算出精细的相关性分数。
- 代表模型：Cohere 的
rerank‑v3、BGE‑reranker、Jina Reranker 等。 - 典型流程：初检召回 top‑100 → 送入交叉编码器逐一打分 → 按分数重新排序 → 取 top‑5 或 top‑10 送入生成。
- 优势：相关性判断准确率高，能处理语义相似但实际不符的噪声片段。
- 代价：推理开销与候选数量成正比，因此通常只对初检的较小候选集（比如 100 条以内）进行重排。
2. 基于大语言模型的重排序
直接利用 LLM 本身对候选片段进行打分或选择。例如，在提示词中给出候选片段列表，要求模型按照与问题的相关程度排序，或选出最相关的几个。
- 适用场景：当已有高质量的 LLM 调用链路，且重排的候选数量很少（如 10～20 个）时，实现成本极低。
- 局限：候选数较多时 API 开销大、延迟高；排序结果受提示词设计影响较大，稳定性不如专用重排模型。
3. 规则辅助的加权排序
在不引入额外模型的情况下，利用业务规则或元数据对向量相似度得分进行调整。例如：
- 赋予较新的文档一定的权重提权（适合时间敏感场景）；
- 优先展示来自“权威来源”（如官方政策原文 vs. 内部培训总结）的片段；
- 对含有关键词完全匹配的片段加分。
这类方法实现简单、响应迅速，适合在重排流程中作为前置过滤或得分修正使用。
14.4.3 实施排序优化的实用建议
- 先确定召回池规模，再选方法
如果初检只取 top‑5 直接生成，重排意义不大。通常在需要从数十甚至上百条候选中精选最优片段时，重排收益最明显。建议初检取 top‑50 至 top‑200，经重排后再压缩至 3～8 个高质量片段。
- 尽量使用专用重排模型
开源或云服务的重排 API（如 Cohere、Voyage AI）已非常成熟，一次推理耗时通常远低于生成，几乎不影响整体响应速度，却能大幅提升检索命中率。在预算允许时，这是投入产出比最高的优化项之一。
- 缓存重排结果
对于高频问题或相同检索请求，可将重排后的 top‑k 结果缓存起来，减少重复计算。
- 与多路召回结合
排序优化不仅处理单路向量检索的结果。如果系统中同时存在关键词检索（BM25）和向量检索，重排可以将两路结果合并后统一打分排序，起到融合（fusion）的作用。
- 监控与评估
重排的效果需要通过线上指标来验证。可监控回答中引用片段的相关性投诉率、用户反馈“未找到信息”的比例，或人工抽查重排前后 top‑3 片段的命中率变化。一旦发现重排模型与业务知识适配不佳，应考虑在同领域标注数据上微调轻量重排模型。
一个对比示例：某企业内部知识问答中，用户提问“项目立项需要提交哪些材料？”初检召回 50 个片段，其中 top‑5 包含了通用流程模板和历史项目案例，但唯一一份精确列出材料清单的片段排在第 12 位。经 BGE‑reranker 重排后，该清单片段升至第 1 位。生成回答直接依据清单给出确切条目，用户未再提出追加澄清，一次性解答成功率明显提升。
通过引入排序优化，RAG 管线能够在保持生成流畅性的同时，使模型看到的上下文始终是“最应该看到的那几段”，从而将检索质量转化为真实可感知的回答质量提升。