分块策略在检索增强生成（RAG）方法中起着至关重要的作用，它使文档能够被划分为可管理的部分，同时保持上下文。每种方法都有其特定的优势，适用于特定的用例。将大型数据文件拆分为更易于管理的段是提高LLM应用效率的最关键步骤之一。目标是向LLM提供完成特定任务所需的确切信息，不多也不少。
什么是分块
分块涉及将文本划分为可管理的单元或“块”，以实现高效处理。这种分割对于语义搜索、信息检索和生成式 AI 应用等任务至关重要。每个块都保留上下文和语义完整性，以确保结果连贯。
分块技术及其策略
| 策略名称 | 描述 | 优点 | 缺点 | 实施建议 |
|---|---|---|---|---|
| 固定长度分块 | 将文本按预定义长度（如基于令牌或字符）分割，适合简单文档或快速处理。 | 简单性、统一性、效率 | 上下文丢失、相关性问题、潜在信息丢失 | 选择合适大小，考虑使用重叠窗口以保持上下文 |
| 基于句子的分块 | 按句子边界分割，确保每个块是完整的思想，适合短响应如客户查询。 | 保持上下文、易于实现、更好的可读性 | 块大小不一致、不适合长句、控制力弱 | 使用NLP库检测句子，必要时合并短句 |
| 段落分块 | 将文档按段落分割，每个段落通常包含完整想法或主题，适合结构化文档。 | 更丰富的上下文、逻辑分割 | 大小不一致、可能超出行牌限制 | 监控块大小，必要时分割大段落以保持上下文 |
| 文档分块 | 将整个文档视为一个块或最小分割，保持完整结构和上下文，适合法律或医学文档。 | 保持完整上下文、适合结构化文本、简单 | 可扩展性问题、效率低、缺乏细节提取 | 适用于不希望分割影响流程的场景 |
| 滑动窗口分块 | 通过滑动窗口创建重叠块，确保相邻块共享内容，适合需保持跨部分上下文的文档。 | 上下文连续性、提高检索效果 | 冗余、计算成本高 | 优化窗口大小和重叠，使用去重技术处理冗余 |
| 语义分块 | 使用嵌入或机器学习模型按语义意义分割，确保每个块主题连贯。 | 上下文相关性、灵活性、提高检索准确性 | 复杂性、处理时间长、计算成本高、阈值调整 | 利用预训练模型，平衡成本和粒度 |
| 递归分块 | 使用层次分隔符或多个分隔符逐步分割为小块，适合大型结构化文档。 | 层次上下文、可扩展性、意义块、细粒度控制 | 实现复杂、可能丢失上下文、复杂性高、计算开销大 | 使用文档结构标识层次，存储块位置元数据 |
| 上下文增强分块 | 为每个块添加周围块的摘要或元数据，保持序列间的上下文，适合长文档。 | 增强上下文、提高连贯性 | 复杂性、存储开销大 | 生成简洁摘要，考虑用关键术语或概念作为元数据 |
| 模式特定分块 | 按内容类型（如文本、表格、图像）分别处理，每个类型按其性质分块。 | 定制方法、提高准确性 | 实现复杂、集成困难 | 使用OCR处理图像，将表格转为结构化数据，保持索引一致 |
| 代理分块 | 使用AI（如大型语言模型）按内容结构和语义建议块边界，或按代理角色任务组织。 | 任务导向效率、聚焦相关数据、灵活性、智能分割 | 复杂设置、计算密集、成本高、可能过分专业化、丢失全局上下文 | 选择性使用，优化LLM提示，明确代理角色和任务规则 |
| 子文档分块 | 总结整个文档或大节并将摘要作为元数据附加到单个块，适合大型文档集。 | 层次检索、上下文深度 | 额外处理、元数据管理复杂 | 自动化摘要生成，高效存储摘要 |
| 混合分块 | 结合多种分块策略，动态适应不同查询类型或文档结构，适合多用途系统。 | 灵活性、优化性能 | 逻辑复杂、维护难度大 | 制定选择策略的标准，广泛测试以确保可靠性 |
| 基于令牌的分块 | 按预定义令牌数（如单词或子词）分割，确保块在模型令牌限制内。 | 优化语言模型、精确控制块大小、一致性 | 上下文碎片化、忽略语义结构、灵活性有限 | 确保块在模型令牌限制内 |
分块优化关键策略
- 重叠块：包括块之间的某些重叠可以确保在段落之间不会丢失关键信息。这对于需要无缝过渡的任务尤其重要，如对话生成或摘要。
- 动态块大小：根据模型的容量或文本的复杂性调整块大小可以提升性能。较小的块适合 BERT 等模型，而较大的块适用于需要更广泛上下文的生成任务。
- 递归：递归或多级分块允许处理复杂的文本结构，例如将文档拆分为章节、节和段落。
- 向量化的对齐：分块技术的选择对检索系统中的向量表示有显著影响。句子转换器和 BERT 或 GPT 等嵌入通常用于与分块粒度对齐的最佳向量化
![多线程编程的简单案例——单例模式[多线程编程篇(3)]](http://pic.xiahunao.cn/多线程编程的简单案例——单例模式[多线程编程篇(3)])
：领导者/追随者模式)
)
