在 RAG 系统中，知识库的质量直接决定回答的准确性和相关性。而知识库管理中有两个关键操作：分片与分类索引，它们分别解决了“怎么切”和“怎么找”的问题。处理好这两步，才能让后续的检索真正找到最合适的内容片段。
1. 为什么需要分片
原始文档往往是一整篇长文，而大模型每次能处理的上下文长度有限，更重要的是，检索时直接在整个文档中匹配会使相关性稀释。因此需要将文档拆分成更小的片段（chunk）进行索引。
分片的核心目标：每个片段应当包含一个相对完整、自洽的语义单元，既不因过短而失去上下文，也不因过长而引入无关信息。
常见的分片策略
| 策略 | 做法 | 适用场景 |
|------|------|----------|
| 固定长度切片 | 按字数或 token 数切割，配合少量重叠（overlap）来保持上下文连贯。 | 文档结构简单、段落分明，如政策手册、产品说明。 |
| 基于语义切片 | 利用自然段、标题、列表等结构标记进行切割，尽可能不割断同一知识点。 | 有明确层级结构的文档，如技术规范、教程。 |
| 句子级切片 | 以句子为单位切片，检索精度高但碎片化严重，常需搭配合并上下文。 | 问答对、FAQ 类型的知识。 |
真实建议
实践中通常采用“固定长度 + 重叠”并尽量对齐自然段边界。例如每段 500~800 个字符，重叠 50~100 个字符，能在大多数场景下取得不错的检索效果。并尽量让一个片段只讨论一个主题，避免混杂多个无关信息。
2. 分类索引：让检索更有目标
简单的单一向量索引已经能应对很多场景，但知识库中如果包含了不同性质、不同时效、不同权限的内容，仅靠一次检索往往会混入不相关的结果。这时就需要分类索引，即为不同类型的知识建立独立的索引空间，检索时可以有选择地命中特定分类。
分类索引的典型划分方式
- 按文档类型：例如“产品文档”“技术公告”“客服话术”“内部规范”各自独立索引。提问时先识别意图，再路由到对应索引检索。
- 按时效性：将经常更新的动态知识（如库存、促销规则）和相对稳定的静态知识（如产品规格、合同条款）分开存放，便于独立刷新。
- 按权限等级：对于需要保密的知识，可以分库存储，结合用户身份鉴权决定哪些索引可查。
- 按语言或版本：多语言知识库对语言敏感的检索通常分开索引，不同软件版本的技术手册也适合分片索引。
分类索引的优势
- 提高检索精度：避免将最新的价格调整信息混入到过期的旧版文档中，减少无效召回。
- 支持差异化更新：动态知识可以高频重建索引，静态知识无需频繁变动，降低系统负载。
- 便于运营维护：业务人员可以按分类直接管理对应文档，不必担心误操作影响其他知识域。
3. 分片与分类索引的配合实践
一个常见的做法是：先规划知识分类大纲，为每个分类建立独立的索引库。在每个索引库内部，再对文档进行合理分片、生成嵌入并写入。检索时，根据用户问题的意图，可能只在单一索引中搜索，也可能跨多个索引联合搜索并按分类权重融合结果。
例如，一个电商客服 RAG 系统可能包含三个索引：
- 商品信息索引：包含规格、价格、功能介绍，按固定长度切片，关键参数尽量不截断。
- 售后服务政策索引：按条款段落切片，每条政策完整保留。
- 活动促销公告索引：特殊处理，每条公告一个片段，明确标注有效期。
当用户询问“这款手机支持无线充电吗？”系统只在“商品信息索引”中检索；当用户问“我的订单七天前签收的还能退货吗？”系统则可能联合“售后服务政策索引”和“活动促销公告索引”共同检索，以确保覆盖最新的临时政策。
4. 实用注意事项
- 切片粒度正则性测试：用一组典型的用户问题检索后，人工查看召回片段是否完整覆盖了回答问题所需的信息，以此调整切片长度和重叠量。
- 元数据标记：每个分片入库时，带上来源文档名、章节、页码、分类标签、更新时间等元数据，方便检索时过滤和溯源。
- 索引更新策略：如果知识库频繁变动，可以选择增量更新，仅替换对应的几个切片向量，而不是全量重建索引。
- 避免过度分片：切片太细导致上下文丢失、检索零散；切片太大则回召相关度下降，消耗更多 token 成本，需要在实验中找到平衡点。
分片和分类索引就像 RAG 知识库的“货架设计”：分片决定了信息的最小存放单位，分类索引决定了货架如何分区。二者配合得当，才能让检索模块在浩如烟海的企业文档中快速、精准地找到底层答案，为后续的准确生成打下坚实基础。