在 RAG 系统中，初检阶段通常使用嵌入模型将问题和文档片段转换为向量，然后通过近似最近邻搜索快速召回一批候选片段。但这一步依赖的是单个向量间的语义相似度，往往只能给出粗略的排序。为了进一步提升答案质量，通常会在召回之后加入一个重排（Rerank）环节，对候选片段进行更精细的相关性打分，确保最终喂给大模型的上下文是最相关的。
重排模型通常采用交叉编码器（Cross-Encoder）架构，同时对问题和候选文档进行联合编码，能更好地捕捉词级、句级交互，因此排序精度远高于双塔式的嵌入模型，但计算代价也相对较高。目前，社区和行业中有几款主流的重排模型值得重点关注。
1. BGE-Reranker
BGE-Reranker 是智源研究院 BAAI 推出的 BGE（BAAI General Embedding）系列中的重排模型，分为通用版本和经过多语言微调的版本，在开源社区中广受欢迎。
- 核心特点：基于交叉编码器架构，支持中英文以及多语言。提供基础版
BAAI/bge-reranker-base和大版BAAI/bge-reranker-large，后者精度更高但速度稍慢。模型以轻量高效著称，单次推理资源消耗可控。 - 使用方式：通常配合向量检索工具（如 Milvus、FAISS）使用。在召回 top‑k（例如 100 个候选）后，调用
BAAI/bge-reranker-base对每个候选计算与问题的相关性分数，然后按分数重新排序，取前若干个送入 LLM。HuggingFace 和 FlagEmbedding 库都提供了开箱即用的接口。 - 实际表现：在多个公开评测中，BGE-Reranker 的重排结果能显著提升最终问答的准确率与命中率。例如在某金融文档场景中，将两阶段检索的答案准确率提高了约 12％。需要注意的是，重排模型的输入长度有限（通常 512 token），超长片段需要截断或滑动窗口处理。
2. Cohere Rerank
Cohere Rerank 是 Cohere 公司提供的商业重排 API，同样基于交叉编码器架构，专门为搜索和智能问答中的重排任务优化。
- 核心特点：以 API 形式提供服务，无需自部署模型，接入简单。支持多种语言，能够处理文本长度可达 4K token 的上下文，适应较长的文档片段。Cohere 的模型在通用和垂直领域都做了大量训练，尤其对非结构化文档的排序表现出色。
- 使用方式：直接调用 REST API 或官方 SDK，传入 query 和一组 documents 文本列表，API 会返回按相关性排序后的文档及相应评分。按调用量计费，适合没有自建 GPU 环境或想快速验证效果的团队。
- 实际表现：在多个企业检索增强场景的测试中，Cohere Rerank 展现出了对复杂语义和细微差别的良好捕捉能力。例如在混合了政策条款与操作指南的知识库中，它能更准确地分辨哪些片段直接回答了用户问题，而非仅提及相关术语。它的响应延迟较低，适合实时应用。
3. 其他可选方案
除了上述两个具有代表性的模型，还有一些值得关注的重排方案：
- Jina Reranker：Jina AI 推出的开源重排模型，专注于多模态和长文本场景，支持 8K token 的输入长度，适用于需要进行深度理解的重排任务，如法律文书检索。
- ColBERT / ColBERTv2：采用延迟交互（late interaction）范式，在维持一定检索效率的同时获得近似交叉编码器的精度，但通常需要专门的索引结构支持，部署稍复杂。
- 直接用 LLM 充当重排器：例如利用 GPT‑4 对候选列表打分，或利用 Listwise 方式排序。精度极高，但成本与延迟对大规模场景不友好，通常作为最终兜底或离线评估的辅助手段。
4. 选型与实用建议
在实际工程项目中，选择重排模型可以从以下几个维度权衡：
- 部署环境：如果已有 GPU 资源且要求数据不出域，优先选择开源自部署的 BGE-Reranker（尤其推荐 large 版本，付出少量额外延时换取明显提升）。若硬件有限或追求极速集成，可使用 Cohere Rerank API。
- 语言与长度：检查候选片段的典型长度。BGE-Reranker 默认 512 token 限制，对于更长的文档可能需要 Cohere Rerank 或 Jina Reranker 等支持长上下文的模型。
- 全链路延迟：重排会额外增加几十到几百毫秒的耗时，可以通过调整召回数量（如从 100 降至 50 后再重排）以及使用较小的重排模型来平衡速度与效果。
- 成本控制：商业 API 按调用量收费，大规模使用时需评估成本；开源模型仅消耗自身算力，边际成本更低。
重排是 RAG 链路中“以小博大”的关键环节：用较小的计算开销，大幅提升最终答案的相关性和质量。因此，无论选择哪款模型，加入重排环节都会是一个性价比极高的优化方向。