【RAG 学习笔记 01】Chunking 为什么没有标准答案？overlap 为什么不能是 0-云帆数科

这是 RAG 学习笔记的第 1 篇对应面试文档里检索优化模块的前两节Chunking切块和 Embedding 选型。离线链路是文档解析 → 切块 → 向量化 → 建索引 → 元数据看起来最简单的一步其实是最容易出问题的一步——切错了后面再好的模型也救不回来。本系列导航00 开篇用「开卷考试」理解 RAG 与我的学习方法01 Chunking 切块与 Embedding 选型本篇02 在线链路七步走与混合检索 RRF03 Rerank 与查询改写04 工程化延迟、缓存、成本与权限05 评测调优与三个进阶架构一、Chunking把书撕成小纸条类比把一本书撕成小纸条每条纸条要能独立回答一个问题。这句话是整节的钥匙。判断切得好不好就问自己一句这条 chunk 单独拿出来能不能读懂、能不能回答一个问题三种策略对比策略做法适合缺点固定大小512 token 一段通用可能切断关键信息递归切分标题 → 段落 → 句子结构规整文档依赖文档结构语义切分按语义边界松散文档慢、贵举例技术文档用递归切分因为标题边界比语义边界更可靠代码按函数/类边界切FAQ按问答对切。为什么没有固定最优值因为切块的最优解取决于文档结构问题类型检索模型。所以说我一般用 512是错的答法正确答法是我在真实评测集上对比过。overlap 为什么不是 0overlap 相邻两个 chunk 之间故意保留的一段重复内容。举例原文是……退款条件用户可在购买后 7 天内申请退款。具体退款天数为 7 个工作日原路退回。如果按固定长度硬切Chunk 1……退款条件用户可在购买后 7 天内申请退款。Chunk 2具体退款天数为 7 个工作日原路退回。overlap 0时用户问退款要几天检索可能只召回 Chunk 1——里面只说7 天内申请没说7 个工作日到账。关键数字在 Chunk 2但它没被召回。overlap 20%时Chunk 2 的开头会重复 Chunk 1 的结尾Chunk 1……退款条件用户可在购买后 7 天内申请退款。Chunk 2用户可在购买后 7 天内申请退款。具体退款天数为 7 个工作日原路退回。这样即使只召回 Chunk 2也能同时看到7 天内申请和7 个工作日两个信息不会断。**所以 overlap 的作用是防止关键信息被切断。**一般设 10%–20%。我当时的问题是overlap 到底在重叠什么。想通的关键是切块是按长度切的但语义是跨段的——只要语义会跨越边界就必须让边界两侧都看到它。面试口述版“没有固定最优值。我会在真实评测集上对比 300/500/800 token 和不同 overlap看 RecallK 和答案正确率选综合最优。技术文档我通常用递归切分因为结构规整、标题边界比语义边界更可靠。”二、Embedding把文字变成向量然后比距离类比Embedding 就是把文字变成一串数字向量语义相近的文字向量也相近。三个名词BGE、M3E、GTE这三个都是中文 Embedding 模型的名字我一开始完全不知道它们是什么名字全称来源备注BGEBAAI General Embedding智源研究院中文效果好常用BGE-large-zh-v1.5M3EMoka Massive Mixed EmbeddingMoka中文 embedding 模型GTEGeneral Text Embeddings阿里达摩院中文 embedding 模型它们的作用给它一段文字它输出一串数字比如 1024 维向量。检索时比较向量相似度找到语义相近的文档。注意一个容易混淆的点Embedding 模型 ≠ 生成模型两者不必同源。用 BGE 做 Embedding、用 GPT-4o 做生成是很常见的稳定组合。RecallK 是什么RecallK 召回率 K在检索返回的前 K 个结果里有没有包含正确答案。比如Recall10 0.92意思是10 次查询里有 9.2 次正确文档出现在前 10 个结果中。为什么要用 Recall 而不是准确率因为 RAG 是两段式召回阶段先要别漏RecallRerank 阶段再负责排序对。MTEB 榜单是什么MTEB Massive Text Embedding Benchmark一个公开的 embedding 模型排行榜可以理解成embedding 模型奥运会。**但榜单分数高 ≠ 你的业务效果好。**所以文档里写着“不只看 MTEB 榜单要看业务评测集上的 RecallK”。选型四维度语言中文优先 BGE、M3E、GTE序列长度长文档需要支持长上下文的 embedding部署云端 API vs 本地部署评测看 RecallK不只看 MTEB 榜单。举例中文企业知识库选BGE-large-zh-v1.5本地部署业务评测集上 Recall10 0.92。我印象最深的一句总结是“MTEB 是别人的考卷RecallK 是你自己的考卷。”拿榜单排名当选型依据是新人最常犯的错。三、这一篇的记忆卡概念一句话Chunking撕成小纸条每条要能独立回答一个问题overlap防止关键信息被切断留 10–20%FAQ 按问答对切一问一答永远在一起避免召回问题却丢答案BGE / M3E / GTE中文 embedding 模型把文字变向量RecallK前 K 个结果里有没有正确答案MTEB公开 embedding 排行榜≠ 业务效果四、我的复盘这一节的收获不是记住三种切分策略而是理解了一个更底层的事实RAG 的效果上限在离线阶段就已经被决定了。切块切断了信息、embedding 选错了语言或长度、元数据没打全——这些在在线阶段都救不回来。所以检索优化模块才被标为核心。下一篇进入在线链路把那串清 → 改 → 找 → 排 → 拼 → 答 → 标逐步讲透重点是混合检索和 RRF 为什么能提升召回以及双塔粗排到底是什么意思。

企业数字化 ERP 产品动态

相关推荐

停车场管理系统课程设计：从需求分析到计费规则实践指南

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 1:55:18

【RAG 学习笔记 02】在线链路七步走：混合检索与 RRF 为什么有效

这是 RAG 学习笔记的第 2 篇，把在线链路走一遍： 问题清洗 → 查询改写 → 混合检索 → Rerank → 组装上下文 → LLM 生成 → 引用后处理我原本是硬背这串流程，背不下来；后来把它想成"帮朋友查资料回答问题的完整过程"… · 2026/9/27 1:55:18

泰山派RK3566 MIPI屏调试实战：设备树配置与触摸校准指南

拒绝拖延！百度网站官网网址搭建完整流程

拒绝拖延！百度网站官网网址搭建完整流程改个需求建站公司拖一周，这种憋屈事儿谁没遇到过？很多老板找外包做站，合同签得清清楚楚，结果上线后想改个Banner图、调个导航栏，对方要么找借口推脱，要么报价离谱，直接把项目周期拖垮。其实，问题根本不… · 2026/9/27 4:38:58

告别多客服系统割裂：迭我分身消息机器人，海内外 IM 全渠道统一接入的 AI 客服智能体

企业客服长期面临多渠道消息分散、多软件来回切换、人工重复咨询量大的痛点。市面上大量 AI 客服仅实现单点对话能力，本质只是网页聊天框，无法深度融入业务流程。本文介绍迭我分身消息机器人，一套支持海内外 IM 平台统一接入的 AI 客服智能体… · 2026/9/27 4:38:52

如何建立网站自己做站长：5个步骤+避坑指南，新手零失败

如何建立网站自己做站长：5个步骤+避坑指南，新手零失败上周一个做独立站的朋友深夜炸锅，服务器日志里全是乱七八糟的跳转链接，首页秒变博彩广告。他慌得问我：“网站被黑挂马不知道怎么办？数据全乱了，客户全跑了！”这种惨剧太常见了。很多新手想… · 2026/9/27 4:38:46

强化学习图像分类实战：MNIST/Fashion-MNIST完整MDP建模与免模型训练

简介：本资源是一套面向机器学习初学者与进阶实践者的强化学习系统教程与可运行项目，聚焦理论理解与代码落地的结合，解决从MDP建模、策略优化到真实任务训练的知识断层问题。压缩包共18个文件（14个Python源码、1个说明文档、1个REA… · 2026/9/27 4:38:40

企业网站建立的流程全解析：不写代码也能搞定源码下载

企业网站建立的流程全解析：不写代码也能搞定源码下载手里攥着几十万预算，脑子里全是画面，但打开电脑只会打字，不会写一行代码。这是无数中小企业主做官网时的噩梦。别慌，这行干了十年，我见过太多人因为不懂技术被外包公司坑得底裤都不剩。今天把【企业… · 2026/9/27 4:38:34

反射内存在航天测控中的价值

反射内存（Reflective Memory）在航天测控中的核心价值，在于以**微秒级确定性延迟**实现多节点间的**硬实时数据共享**，从根本上解决测控系统中“多站协同、异构设备互联、高可靠冗余”三大工程难题。一、技术原理解析：为… · 2026/9/27 4:38:28

MATLAB雷达信号脉冲压缩仿真：LFM线性调频、匹配滤波与距离分辨率实现

简介：这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程，从线性调频（LFM）信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑，面向电子信息工程、计算机、数学等专业学生，适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南：5大注意事项救急

汕头网站建设制作厂家避坑指南：5大注意事项救急改个需求建站公司拖一周，这种憋屈事我见得太多了。很多汕头老板找本地建站团队，签合同前看着方案挺美，一上线就变脸。今天不聊虚的，直接拆解找汕头网站建设制作厂家时的5个核心注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战：BERT+ResNet双塔与对比学习

简介：基于PyTorch的多模态虚假新闻检测项目完整代码包，面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者，解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征，以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真：LFM线性调频、匹配滤波与距离分辨率实现

汕头网站建设制作厂家避坑指南：5大注意事项救急

多模态虚假新闻检测实战：BERT+ResNet双塔与对比学习

【RAG 学习笔记 01】Chunking 为什么没有标准答案？overlap 为什么不能是 0

相关推荐

了解更多？预约专属演示