Nexus Agent组合式切块引擎：结构、递归、语义与LLM四种切块策略如何协同

【免费下载链接】nexus-agent企业级 AI 智能体 Agent 平台覆盖智能对话、文档知识问答、联网搜索、RAG 检索、MCP 工具协议、Skills 扩展等完整能力。三层执行器体系、双通道混合检索、组合式切块引擎、会话记忆管理、全链路可观测每个环节都经过深 度设计和工程化打磨。项目地址https://gitcode.com/gh_mirrors/ne/nexus-agent点击查看免费下载Nexus Agent 是企业级 AI 智能体 Agent 平台其文档知识库的核心能力之一就是组合式切块引擎。它不再用固定长度一刀切文档而是根据文档的标题结构、段落质量、内容主题动态组合结构切块、递归分块、语义分块、LLM 智能切块四种策略让切出来的每一个块都更适合 RAG 检索。这篇文章带你完整拆解四种策略各自解决什么问题、它们如何按流水线协同、系统又是如何为每份文档自动推荐策略组合的。为什么切块策略不能一刀切在 RAG检索增强生成系统中文档切块直接决定了检索命中率块太大语义混杂向量检索命中后模型拿到大量无关内容回答失焦块太小上下文断裂关键信息被切散召回的片段回答不了问题按固定长度硬切标题、步骤、表格被拦腰截断语义完整性全毁。Nexus Agent 的解法是四种策略不四选一而是各司其职组成组合式流水线。一句话概括结构负责保留文档天然边界递归负责控制块大小语义负责优化块边界大模型负责处理疑难场景。四种策略定义在 DocumentStrategyTypeEnum.java 中每种策略在流水线里都有明确的角色DocumentStrategyRoleEnum.java切块策略角色解决什么问题触发时机结构切块STRUCTURE️ 主干按标题/章节切成语义完整的块保留天然边界文档有明显的标题层级如 PDF、Word、Markdown递归分块RECURSIVE️ 兜底结构块太大时继续往下裁剪控制块大小文档较长或存在超长段落语义分块SEMANTIC✂️ 优化按主题相似度精修块边界避免切碎话题文本主题边界明确、质量中等以上LLM 智能切块LLM 增强大模型理解文本后切出语义完整片段低质量或结构不稳定的疑难文档默认关闭自动推荐系统怎么决定用哪些策略上传文档后Nexus Agent 不会让你盲选算法。系统先通过 Tika 解析出纯文本再产出一份 DocumentAnalysisResult.java 分析结果包含字符数、标题数量、段落数、最长段落长度、结构级别、内容质量等级等指标。随后DocumentStrategyServiceImpl.java 中的recommendStrategy方法按规则打分推荐结构切块文件类型为 PDF/Word/Markdown/HTML且结构级别达到中等或标题数 ≥ 2 → 推荐为主干递归分块总字符数或最长段落超过recursive-max-chars默认 800→ 追加为兜底语义分块字符数达标、段落数 ≥ 3、质量等级中等以上 → 推荐做边界优化LLM 智能切块内容质量判定为低且开启recommend-llm-when-low-quality→ 追加增强。推荐结果会生成一份策略计划Strategy Plan附带每条策略的推荐原因用户在管理后台可以查看并手动增删调整确认后才真正执行。切块在整个入库流水线中的位置由 DocumentTaskStageEnum.java 定义文件上传 → 内容解析 → 策略路由 → 策略确认 → 切块执行 → 切块后处理 → 向量化 → 入库完成每一步都有独立任务日志可追溯。Parent-Child 双流水线大块保完整小块保命中切块引擎最核心的设计是Parent-Child父子块双流水线两条流水线分别使用不同的策略组合流水线目标粒度策略组合逻辑父块Parent较大语义单元上限 2200 字符有结构信号 → 结构切块主干无结构 → 递归分块兜底子块Child较小检索单元上限 800 字符低质量文档 → LLM 增强否则语义分块优化递归分块始终追加兜底为什么这么分因为检索和回答的需求是矛盾的检索时希望块小、语义集中向量命中率高回答时希望块大、上下文完整模型才好组织答案。父子块结构让两者兼得——向量检索命中 Child 小块后系统自动聚合提升为对应的 Parent 大块再交给模型生成回答。流水线执行四种策略如何串联用户确认策略后executePipeline方法按 stepNo 顺序依次执行每一步策略前一步的输出就是后一步的输入。四种策略的具体实现都在 DocumentStrategyServiceImpl.java 中1️⃣ 结构切块按标题栈走逐行扫描文本识别标题行时压入标题栈维护一条形如第一章 1.2 安装的章节路径sectionPath。每个新标题出现时把上一段内容 flush 为一个块。这样切出的块天然对齐文档的章节边界且每块都携带自己的结构坐标后续可关联 Neo4j 的 Document → Section → Item 结构图谱做章节定位。如果整份文档没识别出任何标题会自动降级为递归分块保证不会切不出结果。2️⃣ 递归分块多级边界 重叠保护recursiveSplit按段落 → 换行 → 句子 → 固定窗口的粒度逐级尝试切分能用段落边界就切段落段落还不够长就降级到句子实在不行才按固定长度滑窗。相邻块之间保留recursive-overlap-chars默认 120 字符的重叠前缀把上一块的尾部内容补到下一块开头缓解关键信息正好落在切分边界导致的上下文断裂。3️⃣ 语义分块按主题相似度断句语义分块先按句子中英文句末标点切分然后逐句累积。对每句提取词元英文单词 单个汉字与当前块的词元集合计算Jaccard 相似度。当相似度低于semantic-similarity-threshold默认 0.18说明话题已经切换且块长达到semantic-min-chars默认 240时就在此处断开。块长同时受semantic-max-chars默认 700约束。效果是话题一致的句子合并成块话题一换就断开边界比纯长度切分更贴合语义。4️⃣ LLM 智能切块大模型处理疑难文档当文档质量偏低扫描件噪声、结构混乱时规则类策略往往力不从心。开启llm-enabled后系统把文本单段超过llm-max-chars3500 字符时先递归切小交给大模型提示词模板在 document-llm-split.st要求模型输出语义完整、不丢信息的 JSON 数组片段。这条路径有双重保险模型未配置或调用失败时自动回退到语义切块流水线不会中断。LLM 策略默认关闭成本考虑只在文档质量被判定为低时才会被系统推荐追加。关键参数速查表所有切块参数集中在 application.yaml 的app.manage.chunk段对应 DocumentManageProperties.java 的Chunk配置类参数默认值作用recursive-max-chars800递归分块单块最大字符数过大块会被继续递归裁剪recursive-overlap-chars120相邻块重叠字符数缓解边界上下文断裂semantic-max-chars700语义块目标上限防止块过大semantic-min-chars240语义块目标下限避免切得过碎semantic-similarity-threshold0.18主题相似度低于该值即在句间断开llm-enabledfalse是否开启大模型智能切块控制成本llm-max-chars3500单次送 LLM 切块的最大字符数recommend-llm-when-low-qualitytrue低质量文档时是否自动推荐 LLM 切块协同全景一次切块发生了什么把整条链路串起来看一份文档从上传到入库的切块过程是解析Tika 把 PDF/Word 等格式转成纯文本分析统计标题、段落、质量等级产出文档画像推荐按规则生成父块/子块双流水线策略组合 推荐理由用户确认执行executePipeline按顺序串联四种策略结构切块产出带章节路径的语义块 → 语义分块精修边界 → 递归分块控制块长并加重叠去重清洗每一步执行完都经过cleanupChunkList按章节路径 序号 文本去重空块剔除聚合子块挂回父块形成 Parent-Child 结构入库向量化后子块写入向量库PGVector用于检索关键词写入 ES 倒排索引支撑双通道混合检索。这套设计对新手有哪些启发策略不是单选而是分工组合——每种算法只做自己最擅长的事弱项交给下一个环节兜底 先分析再决策——用文档画像标题数、段落长度、质量等级驱动策略推荐而不是全局一个固定配置 永远设计降级路径——结构切块找不到标题就降级递归LLM 失败就回退语义任何一环失败流水线都不中断 检索粒度与回答粒度解耦——Parent-Child 结构同时满足命中率高和上下文完整两个矛盾需求。相关的核心源码入口切块引擎与策略推荐DocumentStrategyServiceImpl.java切块候选数据结构ChunkCandidate.java父块候选含子块聚合ParentBlockCandidate.java切块实体SuperAgentDocumentChunk.java策略步骤实体SuperAgentDocumentStrategyStep.java策略确认接口DocumentManageController.java理解了这套组合式切块引擎你就掌握了 Nexus Agent 知识库质量的第一道闸门——切块做得好后面的混合检索、父子块聚合、证据生成才有发挥空间。赞分享【免费下载链接】nexus-agent企业级 AI 智能体 Agent 平台覆盖智能对话、文档知识问答、联网搜索、RAG 检索、MCP 工具协议、Skills 扩展等完整能力。三层执行器体系、双通道混合检索、组合式切块引擎、会话记忆管理、全链路可观测每个环节都经过深 度设计和工程化打磨。项目地址https://gitcode.com/gh_mirrors/ne/nexus-agent点击查看免费下载相关推荐All-in-RAG文本分块策略全解析固定切分、递归切分与语义分块如何选对RAG的Chunking方案All in RAG文本分块策略全解析固定切分、递归切分与语义分块如何选对RAG的Chunking方案 RAG文本分块Text Chunking是决定检示例工程教程人工智能大模型RAGOpenEMR免费开源医疗管理系统的终极解决方案OpenEMR免费开源医疗管理系统的终极解决方案 在医疗行业数字化转型的浪潮中寻找一款功能全面、安全可靠且经济高效的医疗管理系统是每个医疗机构面临的挑战。O医疗健康后端前端企业应用Crest Mac双引擎指南Chromium与WebKit如何共存一文搞懂引擎切换策略Crest Mac双引擎指南Chromium与WebKit如何共存一文搞懂引擎切换策略 Crest 是一款面向 Mac、iPhone 和 iPad 的开源浏上一篇3步掌握AKSharePython财经数据获取的终极指南下一篇使用 Docker Compose 快速启动本地 PostgreSQL 服务器创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考