首页/新闻资讯/正文详情

Dify学习笔记 03 · RAG检索增强生成:三代范式、评估与落地(第40-45、55-56集)

发布时间:2026/11/20 10:13:04 来源:云帆数科 栏目:资讯中心
Dify学习笔记 03 · RAG检索增强生成:三代范式、评估与落地(第40-45、55-56集)
摘要本文是吴恩达 RAG 系列课程模块三的学习笔记围绕 RAG检索增强生成从原理到落地展开。全文先讲清 RAG 解决的五个痛点与「提取 → 索引 → 检索 → 生成」四步流程再依次拆解 Naive、Advanced、Modular 三代范式的演进逻辑重点说明预检索与后检索策略、切分与 HyDE 的作用、混合检索为何用 RRF 融合随后给出 RAGAs 四大指标与 TruLens 的量化评估方法最后落到 RAG 与微调的取舍、框架与向量库选型、六大行业场景及常见误区。适合想系统掌握 RAG 工程链路、并动手跑通基线的开发者阅读。目录一、可视化导览二、视频清单8 集 · 约 2.2 小时三、RAG 解决什么 · 四步流程 · RAGFlow四、第一代Naive RAG朴素版五、第二代Advanced RAG进阶版六、第三代Modular RAG模块化七、RAG 评估八、行业落地与选型九、核心概念速查表十、学习打卡十一、本模块常见问题与实战补充十二、延伸练习十三、深挖检索链路到底在哪一步丢分十四、选型与部署的实战补充十五、三代范式的演进逻辑串讲十六、面试常考问题速记二十四、总结与参考资料吴恩达《面向开发者的提示词工程》吴恩达 MCP 教程Model Context Protocol一多模态大模型教程学习笔记 — ViT · CLIP · SAM · GLIP · Stable Diffusion一句话总结RAGRetrieval-Augmented Generation2020 年论文提出让大模型用上私有、最新、可追溯的知识是企业落地性价比最高的方案。本模块从 RAGFlow 实操出发系统讲清Naive → Advanced → Modular 三代范式、预检索/后检索策略、四种模块化 flow、混合检索 RRF 融合再用 RAGAs / TruLens 做量化评估最后给出 RAG 与微调的取舍、框架与向量库选型及六大行业场景。素材覆盖说明模块三共 8 集第 40-45、55、56 集本地视频与字幕齐全全部据字幕据实整理无补全小节。一、可视化导览本模块的 RAG 四步流程、三代范式演进、四种模块化 flow、评估指标与落地选型已整理成一张知识图谱模块三 · RAG 检索增强生成 · 可视化图谱1.1 为什么 RAG 是企业落地性价比最高的方案大模型再强也有三个绕不开的硬伤它的知识停在训练截止那天公司内部的私有文档它从没见过它会一本正经地编造也就是幻觉它给出的答案你无法核对出处。要解决这些问题有两条路。一条是把私有知识塞进模型去训练也就是微调但训练贵、更新慢、还没法告诉用户答案从哪来。另一条就是 RAG不动模型本身只是在它回答之前先去你的资料库里把相关内容捞出来连同问题一起递给它。这样模型回答时手里有资料答案有据可查资料更新了只要重新索引、不用重训模型。这就是为什么企业做知识问答几乎都从 RAG 起步。理解 RAG 的关键是建立一个朴素但重要的认知RAG 并不让模型变得更聪明它只是给模型递小抄。模型本身的能力没变变的是它回答时能看到的上下文。所以如果小抄递错了、递漏了模型照样会答错。这也是为什么后面要花那么多篇幅讲预检索、后检索、评估——整个 RAG 工程本质上都是在解决怎么把对的资料在对的时机以对的方式递给模型。1.2 离线与在线两条链路要分清很多人学 RAG 混乱是因为没把离线建库和在线问答两条链路分开。离线链路是你提前做的一次性工作把各种格式的文档解析出来、清洗干净、切成小块、用 embedding 模型把每块变成向量、存进向量库。这一步做一次之后增量更新即可。在线链路是用户每次提问时实时发生的把用户问题也变成向量、去库里找最相似的几块、精排、拼进提示词、让模型生成。把这两条链路分清你定位问题时就有了方向。如果发现库里明明有这段资料却召不回问题多半出在离线切分或 embedding如果召回的片段是对的但答案还是错问题多半出在在线的拼提示词或模型本身。很多人一上来就怪模型其实是没分清问题在哪条链路上。记忆钩子离线是把书拆成卡片塞进抽屉在线是根据问题去抽屉抽几张相关卡片。切卡片和抽卡片是两件可以分别优化的事。二、视频清单8 集 · 约 2.2 小时集标题时长核心内容40RAG 技术原理与 RAGFlow 项目实操19:40RAG 四步流程、RAGFlow Docker 部署与解析41Naive RAG 与 langchain 实践12:44朴素版链路、Chroma、BGE-small-zh、chunk 参数42高级 RAG一层次索引、句子窗口、子查询、HyDE17:10预检索策略全家桶43高级 RAG二提示词压缩、融合、llamaindex14:25后检索、Rerank、LLMLingua、BM25向量 RRF44模块化 RAG一顺序、条件、分支模式11:37RouterQueryEngine、并行分支45模块化 RAG二迭代、递归、FLARE、ToC17:55环形 flow、IR-CoT、FLARE、Self-RAG55RAG 评估评估指标、RAGAs、TruLens22:01评估四件套、RAGAs 四指标、TruLens 面板56RAG 行业落地实践心得、落地经验、业务场景15:53RAG vs 微调、框架/向量库选型、六大场景三、RAG 解决什么 · 四步流程 · RAGFlow3.1 五个痛点大模型本身存在知识盲区、会幻觉、知识过时、答案不可追溯、私有数据不能直接喂等问题。RAG 通过先检索、再生成一并解决私有知识可接入、回答有据可依、索引随时更新、能给出来源、数据不必出域。3.2 四步流程阶段环节做什么离线① 提取解析 PDF/Word/表格/图片清洗、OCR、切分② 索引分块 chunk用 embedding 模型向量化后写入向量库在线③ 检索问题向量化先相似度粗召回如 Top100再重排序取 Top 几条④ 生成把召回内容作为上下文拼进提示词交 LLM 生成带依据的答案3.3 RAGFlow 实操要点RAGFlow 是一个主打深度文档理解的开源 RAG 引擎适合不想从零拼链路的团队。部署与使用要点基于 WSL2 Docker Desktop 用 Docker 部署。容器内配置模型地址时要填host.docker.internal不是 127.0.0.1本地用 Ollama 跑 qwen2 7B 4bit。建知识库后必须手动点“解析”系统才会真正对文档做切块、向量化、入库——只上传不解析等于没有索引。# 1. 拉取并启动 RAGFlowWSL2 Docker Desktop 环境 git clone https://github.com/infiniflow/ragflow.git cd ragflow/docker docker compose -f docker-compose.yml up -d 2. 查看容器状态确认 ragflow-server 已启动 docker ps | grep ragflow 3. 浏览器访问 http://localhost:80 进入 RAGFlow 控制台 在「模型提供商」中把地址填为 host.docker.internal:11434Ollama 默认端口四、第一代Naive RAG朴素版朴素版就是“索引 → 检索 → 生成”一条直线没有任何额外优化。课程的技术栈为Python Ollama Chroma LangChain BGE-small-zh智源中文 embedding其中 Chroma 原生支持 Windows、上手最简单。# 安装依赖 pip install langchain langchain-community chromadb sentence-transformers ollama两个关键分块参数chunk_size块大小 500、overlap相邻块重叠 50。重叠是为了避免把完整语义从中间切断。朴素版的主要问题是召回质量不稳定、容易漏检或召回无关内容这正是进阶版要解决的。from langchain_community.document_loaders import TextLoader from langchain_text_splitters import RecursiveCharacterTextSplitter from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.vectorstores import Chroma 1. 加载文档 docs TextLoader(your_doc.txt, encodingutf-8).load() 2. 切分块大小 500重叠 50 splitter RecursiveCharacterTextSplitter(chunk_size500, chunk_overlap50) chunks splitter.split_documents(docs) 3. 向量化并写入 Chroma embedding HuggingFaceEmbeddings(model_nameBAAI/bge-small-zh-v1.5) vectorstore Chroma.from_documents(chunks, embedding, persist_directory./chroma_db) 4. 检索 Top3 retriever vectorstore.as_retriever(search_kwargs{k: 3}) results retriever.invoke(RAG 的四步流程是什么) for doc in results: print(doc.page_content)五、第二代Advanced RAG进阶版在朴素链路的检索前与检索后各加一组优化模块是当前工程落地的主力形态。5.1 预检索Pre-retrieval策略作用滑动窗口 / 句子窗口 SentenceWindow用小颗粒检索命中、再还原到周围更大上下文兼顾精准与完整metadata 元数据过滤按时间、部门、文档类型等字段先缩小检索范围层次化 / TreeIndex / small-to-big建立多层摘要索引先用摘要定位再取原文细节知识图谱对实体关系复杂的领域用图谱补充向量检索查询改写 / SubQuery / MultiQuery把一个复杂问题拆成多个子问题或生成多个同义问法分别检索HyDE先让模型假设一个可能的答案用假设答案去检索它比短问题更接近文档表述Reverse-HyDE反过来为文档假设可能对应的问题5.2 后检索Post-retrieval结果去重去掉多个高度重复的召回片段。Rerank 重排序几乎必上用交叉编码器对粗召回结果重新精排把真正相关的顶到前面原理见模块四。LLMLingua 提示词压缩压缩召回上下文可把 token 压到约 1/20省成本、降噪声。混合检索 RRF 融合稀疏检索BM25擅长关键词精确匹配与稠密检索embedding擅长语义各出一份排名用RRFReciprocal Rank Fusion倒数排名融合合并无需对齐两套分数的量纲。RRF 公式某文档的融合分数 Σ 1/(rank K)rank 是它在各榜单中的名次K 是平滑常数常取 60。名次越靠前贡献越大多榜都命中的文档排名显著上升。def rrf_fusion(rankings, k60): rankings: 多个榜单每个榜单是按相关性排序的文档 id 列表 scores {} for ranking in rankings: for rank, doc_id in enumerate(ranking, start1): scores[doc_id] scores.get(doc_id, 0) 1 / (rank k) return sorted(scores.items(), keylambda x: x[1], reverseTrue) 示例BM25 榜与向量榜融合 bm25_ranking [doc1, doc3, doc2] vector_ranking [doc2, doc1, doc4] print(rrf_fusion([bm25_ranking, vector_ranking]))5.3 切分策略为什么是召回质量的命门在所有 RAG 优化里切分chunking是最被低估、却影响最大的一环。切分做不好后面上再贵的 Rerank 也救不回来。为什么因为检索是按块为单位的如果一个完整的知识点被从中间切成两块查询时可能只命中其中一半模型拿到的就是残缺信息反过来如果一块塞得太长太杂相似度计算时关键信息被稀释又会召不准。课程给的默认值是块大小五百、重叠五十这只是起点不是真理。实操时的经验是优先按语义边界切比如按段落、按小标题而不是死板地按字数硬切表格、代码、列表这类结构化内容尽量整块保留别切碎相邻块留一点重叠就是为了防止一句话从中间断开后两边都不完整。更高级的做法是小颗粒检索、大颗粒返回——索引时切得小以提高命中精度但真正递给模型时把命中块前后更大的上下文一起带上这正是课程里 SentenceWindow 策略的思路。5.4 HyDE 为什么能改善召回向量检索有个天然矛盾用户的问题往往很短、很口语化而文档里的句子往往是书面、完整的。两者表达方式不一样直接拿短问题去匹配相似度往往不高。HyDE 的巧思是先让模型根据问题瞎编一个可能的答案哪怕这个答案是错的也没关系关键是这个编出来的答案是书面完整的句子和真实文档的表达方式更接近拿它去做向量检索命中率反而更高。说白了HyDE 是把短问题翻译成了和文档同风格的查询。理解这点你就明白它本质是一种查询改写而不是在提升生成质量。5.5 为什么混合检索要 RRF而不是直接加权重排分BM25 是关键词检索它打出来的分数和向量相似度的分数量纲完全不同——一个可能是几十一个可能是零点几根本没法直接相加或加权。硬加权就得反复调权重很麻烦还不稳健。RRF 的聪明之处在于它完全不看分数大小只看排名。一篇文档在 BM25 榜里排第几、在向量榜里排第几按名次倒数算个贡献加起来。两篇榜都靠前的文档融合后自然排到最前。这样既不用对齐量纲又能同时发挥关键词检索擅长精确术语、向量检索擅长语义近似的长处。这就是为什么混合检索几乎都用 RRF 融合。一句话记BM25 认字向量认意RRF 只看名次把两路结果和在一起。专业术语多的库BM25 尤其不能丢。六、第三代Modular RAG模块化把 RAG 拆成可复用模块最初 6 类 module type逐步细化为 14 个 module、再到更细的 operator可按需编排。核心是四种 flowflow结构说明 / 代表顺序模块串行固定链路代表为网易 QAnything条件按条件路由RouterQueryEngine 依据各节点 description 匹配走不同检索分支分支并行处理检索前并行拆子查询或检索后多篇文档各自生成再汇总环形带反馈闭环迭代 / 递归 / 自适应检索见下方四种代表环形 flow 的四种代表IR-CoT迭代检索-思考Retrieve then Reason固定轮数地检索一点、推理一点。ToCTree of Clarifications澄清树递归改写查询 / 生成澄清问题默认用 BFS 广度优先展开。FLAREForward-Looking Active Retrieval边生成边检索模型在生成中遇到低置信度内容时就把该处掩码或主动生成一个检索问题去查资料再续写。Self-RAG经过特殊微调模型用[Retrieval]等四类特殊 token 自我评判要不要检索、检索结果是否相关、生成是否有据把检索决策内化进模型。七、RAG 评估7.1 评估四件套指标定义要衡量的维度测试数据集标注好的问答对问题、参考答案、相关文档自动化工具RAGAs、TruLens、LlamaIndex 评估、LangSmith、DeepEval、Phoenix用户反馈 / AB 测试线上真实效果回流。7.2 RAGAs 四大指标无需参考答案上下文相关性Context Relevance召回的上下文与问题是否切题衡量有没有捞回噪声上下文召回Context Recall回答所需的信息是否都被召回衡量有没有漏忠实度Faithfulness答案中的陈述能否被召回上下文支撑专查幻觉最重要之一答案相关性Answer Relevance最终回答是否真正回应了用户问题、有没有答非所问实操提示RAGAs 课程使用 0.1.12 版本评测数据里的特殊字符必须先清洗否则 JSON 序列化报错。TruLens提供三类反馈函数本地 Ollama 可经 LiteLLM provider 接入用 run_dashboard 启动可视化面板看到每条记录的检索与评分明细。from datasets import Dataset from ragas import evaluate from ragas.metrics import ( context_relevance, context_recall, faithfulness, answer_relevancy, ) 评测数据问题、召回上下文、模型答案、参考答案 data { question: [RAG 的四步流程是什么], contexts: [[提取 → 索引 → 检索 → 生成]], answer: [RAG 分为提取、索引、检索、生成四步。], ground_truth: [提取、索引、检索、生成], } dataset Dataset.from_dict(data) result evaluate( dataset, metrics[context_relevance, context_recall, faithfulness, answer_relevancy], ) print(result)八、行业落地与选型8.1 RAG 还是微调维度倾向 RAG倾向微调知识更新更新频繁、内容常变知识稳定、不常变目标注入知识、可追溯、降幻觉固化人设、语气、风格、固定能力可解释性强能给来源弱近似黑盒资源 / 延迟算力成本低但多了检索环节训练成本高推理延迟更低幻觉基本无受上下文约束仍可能编造知识8.2 框架与向量库选型LangChain适合小项目快速搭大系统容易被其高层抽象绑架定制困难。LlamaIndex专为数据/检索而生集成度相对低但更灵活进阶 RAG 算子丰富。研发能力弱直接用 RAGFlow / QAnything 二次开发少造轮子。向量库已在用 ES 就用 ES dense_vector HNSW已在用 PostgreSQL 就上 pgvectorClickHouse 适配 OLAP轻量入门用 Chroma / Milvus详见模块四。8.3 调优要点与六大场景调优清单embedding 可针对领域微调 调 chunk 大小与重叠 清洗表格、做好 OCR可参考清华 GOT 中文优先用大厂开源 embedding Rerank 必上、甚至微调 召回置信度 0.6 才采用 实体关系复杂用 GraphRAG。六大落地场景智能客服 生产 SOP 工艺问答 金融知识图谱 法律检索 医疗辅助问答 企业知识资料沉淀与审批流程优化。课程总结企业做大模型应用最后往往只剩三件事——提示词工程、微调、RAG。8.4 怎么向非技术同事解释 RAG 和微调的区别这是个面试和落地都常被问到的问题。一个好懂的比方RAG 像是开卷考试——学生模型进考场时可以带着资料遇到不会的题就翻书找答案资料更新了换本新书就行但他答得好不好取决于书翻得快不快、翻得准不准。微调像是把知识点反复灌输给学生让他背下来——之后考试不用带书答得快但书里的内容一旦更新就得让他重新背一遍而且他具体从哪本书哪页背出来的你也说不清。用这个比方就能回答业务方的问题你的知识是不是经常变变就用 RAG你的需求是回答特定知识还是表现出特定风格要风格比如固定的客服语气、某种写作范式微调要知识可追溯RAG。绝大多数企业知识问答先用 RAG 就够了只有当 RAG 怎么调都无法满足某种风格化、能力固化的需求时才考虑叠加微调。两者不是对立而是常常组合使用。8.5 六大场景背后的共性课程列了智能客服、生产工艺、金融图谱、法律检索、医疗问答、企业知识沉淀六个场景。它们表面不同背后的共性是一样的都有大量私有、专业、需要准确引用的文档都不能容忍模型胡编都希望答案能追溯到出处。区别只在于文档形态和精度要求——法律、医疗对准确性和引用要求最高往往要上 GraphRAG 和更严格的引用校验客服类对响应速度和覆盖面要求高往往要做查询路由和多知识库分流。理解了这个共性你面对一个新场景时就知道该往哪几个方向调文档越专业越要重视切分和 Rerank引用要求越高越要把忠实度指标盯紧。8.6 为什么说先跑基线再迭代是铁律新手做 RAG 最容易犯的错是一上来就堆各种高级技巧又加 HyDE、又上 Rerank、又做混合检索结果效果到底好不好、是哪一步起了作用完全说不清。正确做法是反过来先跑一个最朴素的 Naive RAG用 RAGAs 打个分当基线然后一次只加一个优化每加一次重新打分看指标是升是降。这样你才能知道在你的具体数据上到底是 Rerank 起了作用还是查询改写更管用还是切分才是最大瓶颈。没有基线的调优都是碰运气。铁律没有评测就没有优化。先攒二三十个标准问题建一个能反复打分的评测集后面每一次改动都用数据说话而不是凭感觉。九、核心概念速查表概念一句话理解RAG 四步提取 → 索引 → 检索 → 生成chunk / overlap分块大小 / 相邻块重叠示例 500 / 50三代范式Naive 直线 → Advanced 加前后处理 → Modular 模块编排HyDE先假设答案再用它去检索混合检索BM25关键词 embedding语义RRF 融合排名RRF分数 Σ 1/(rank K)无需对齐分数量纲四种 flow顺序 / 条件路由/ 分支并行/ 环形反馈FLARE / Self-RAG边生成边主动检索 / 用特殊 token 自我评判RAGAs 四指标上下文相关性、上下文召回、忠实度、答案相关性十、学习打卡能完整说出 RAG 解决的五个痛点与四步流程能用 Docker 部署 RAGFlow建好知识库并记得点解析能用 Chroma LangChain BGE 跑通一个 Naive RAG并会调 chunk_size/overlap能说清至少 4 种预检索策略与 3 种后检索策略理解 HyDE 与混合检索 RRF 的原理能写出 RRF 公式能区分 Modular RAG 的四种 flow并举出环形 flow 的代表能用自己的话说清 FLARE 与 Self-RAG 的区别能列出 RAG 评估四件套与 RAGAs 四指标及其含义能从知识更新、可解释性、成本、延迟、幻觉五个维度判断 RAG vs 微调能结合业务给出框架与向量库的选型建议和调优清单学习建议本模块概念多、算子多不必死记每个策略的实现细节先建立三代演进 前后检索 四 flow 评估的骨架再在自己的数据集上动手先跑 Naive 拿基线用 RAGAs 打分再逐个加 Rerank、查询改写、混合检索观察指标变化——这是理解进阶 RAG 最快的方式。十一、本模块常见问题与实战补充11.1 RAGAs 四个指标分别暴露什么问题学会用 RAGAs 打分还不够要会读分数。如果上下文召回低说明该捞的资料没捞到——问题在检索环节要改切分、换 embedding、加混合检索。如果上下文相关性低说明捞回来一堆不相关的——问题在检索太宽或阈值太松要加 Rerank、收紧阈值。如果忠实度低说明召回的资料是对的但模型没有照着资料答、自己瞎编了——问题在提示词约束和模型要在提示词里强调只依据给定资料回答。如果答案相关性低说明答非所问——问题在查询理解要做查询改写或澄清。你看四个指标正好对应链路的四个不同环节哪个指标差就去哪一环找原因。这就是量化评估的价值它把效果不好这个模糊感受变成了四个可定位的具体问题。11.2 FLARE 和 Self-RAG 到底解决什么传统 RAG 是先一次性把资料捞够再一口气生成。但有些长答案你一开始根本不知道后面会需要查什么。FLARE 的思路是边写边查模型写一段写到自己都没把握、预测到下一句可能需要资料时就主动停下来把那个疑点变成一个查询去检索拿到资料再接着写。Self-RAG 更进一步它是经过专门微调的模型天生就懂得用特殊标记自我判断这里需不需要检索、刚才召回的资料到底相不相关、我这段回答有没有依据。两者都代表了 RAG 的演进方向——从检索一次用到底走向按需、动态、自适应地检索。11.3 实战中的常见误区误区一以为上了 RAG 就不会幻觉——错召回错了照样错。误区二召回条数越多越好——错塞太多无关内容反而稀释、误导模型。误区三盲目追求最复杂的 flow——错多数业务一个调好的 Advanced RAG 就够了。误区四忽略文档解析质量——错PDF 里的表格、图片如果 OCR 得稀烂后面再怎么调都白搭。误区五不做评估就凭感觉调——错这是最常见也最致命的。十二、延伸练习练习一用你自己的一份 PDF 文档先跑 Naive RAG记下 RAGAs 基线分。练习二加上 Rerank重新打分对比。练习三把纯向量检索换成 BM25 加向量的混合检索加 RRF再打分。练习四故意把同一份文档用两种切分策略建库观察召回差异。这四个练习做下来你对三代范式和前后处理策略的理解会远超只看视频。我能说清离线建库与在线问答两条链路各自做什么我能用开卷考试的比方向别人解释 RAG 与微调的区别我能根据 RAGAs 四个指标的高低定位到底该优化哪一环我亲手跑过 Naive 基线并至少做过一次加优化前后的对比打分本模块小结RAG 的核心不是某个花哨技巧而是一条把对的资料递给模型的工程链路。三代范式是这条链路不断加控制的过程评估是让你知道自己有没有变好的标尺。下一站模块四钻进检索底座看 embedding、重排和向量库是怎么决定召回上限的。十三、深挖检索链路到底在哪一步丢分很多同学做完朴素版检索觉得效果不好却说不清到底是哪一步出了问题。这里把整条在线链路再拆开逐段讲清楚每个环节可能丢掉什么分方便你对照自己的项目排查。第一步是把用户的问题变成向量。这一步的问题往往出在问题本身太模糊用户只说了半句系统却当成完整问题去检索自然捞不到东西。这时候该做的不是换模型而是在检索前加一步澄清或者把用户的口语化问题改写成更接近文档语言的完整问法。这就是前面讲的查询改写要解决的事。第二步是拿问题向量去库里做相似度粗召回。这一步的典型问题是只召回了语义相近、其实无关的段落或者反过来明明库里有答案却因为表达方式不同没召到。前者说明召回太松需要收紧阈值或者加精排后者说明只靠语义检索不够要补上关键词检索那一路也就是混合检索。你要养成一个习惯遇到召不回的问题先把那个问题手工到库里搜一下关键词看看资料到底是用什么词表达的——如果资料用的是专业术语而用户问的是大白话那就是表达鸿沟该上混合检索或者查询改写。第三步是精排。粗召回一般取一百条这里面噪声很多精排就是用一个更懂语义匹配的模型把这一百条重新排一遍只留下最靠前的三四条。为什么需要这一步因为粗召回用的是 embedding它追求快把查询和文档分别独立编码再算相似度这种方式精度有限而精排用的是交叉编码它把问题和候选段落拼在一起同时送进模型让模型充分理解两者关系判断更准只是慢所以只能对少量候选做。这就是为什么精排几乎必上。第四步是把精排后的几条拼进提示词交给模型。这一步最容易被忽略的是你拼进去的顺序、给模型的指令都会影响答案。把最相关的放在前面明确告诉模型只能根据下面给的资料回答资料里没有就说不知道能显著压低幻觉。反过来如果一次塞进去十条、互相矛盾的资料模型反而被搞糊涂。所以不是塞得越多越好而是精、少、准。十四、选型与部署的实战补充关于框架新手常纠结到底用哪个。课程的判断很实在小项目、想快速出东西用最成熟的编排框架生态全、坑都被踩过但当你的系统越做越大会发现那些高层封装反而成了束缚你想定制一个特殊算子都被框架挡着。这时候要么换更灵活的框架要么干脆自己控制链路。一句话入门靠框架提效深入靠自己掌控。关于向量库课程给的原则非常实用——别为了上向量库而专门引入一个新组件。你的团队已经在用什么数据库就在它上面加向量能力这样运维成本最低。轻量入门阶段用最简单的本地库跑通流程即可等数据量和并发上来了再换分布式向量库。关于中文场景有一条特别重要中文一定要优先用专门为中文训练的向量模型。拿只在英文上训练的模型去算中文效果会打折因为中英文的语义分布差别很大。课程实操里用的就是开源中文向量模型这不是随便选的。同理做中文问答时切分也要考虑中文的特点中文没有空格分词按字数硬切和按语义切差别很大。落地心法文档解析决定上限切分决定召回精排决定精度提示词决定发挥。这四件事按顺序抓比一上来堆高级技巧有效得多。我能按离线、在线两条链路复盘自己的检索项目我理解了为什么交叉编码精排又慢又准只能对少量候选做我知道中文场景为什么要选中文向量模型我明白了为什么已有什么数据库就优先在它上面加向量能力十五、三代范式的演进逻辑串讲学完三代范式最该建立的是一条演进主线而不是把它们当成三个孤立名词。第一代朴素版就是一根直线把文档切块入库用户来了就查、查完就生成。它简单但很快就暴露问题切分是一刀切的召回是一次性的没有任何纠偏机制于是召回不好就一路错到底。于是有了第二代进阶版思路是在这根直线的前后各加东西。检索前加一组策略目的是让问题更像样、让候选更聚焦比如查询改写、句子窗口、元数据过滤检索后再加一组策略目的是把捞回来的一堆结果去粗取精比如去重、精排、压缩、多路融合。到这一步链路已经相当能用了是当前生产环境的主流。但进阶版还是一条直线它不会根据问题类型自动切换打法也不会在发现资料不够时主动再查一轮。于是有了第三代模块化版核心思想是把整条链路拆成一个个可复用的零件像搭积木一样编排。遇到简单问题就走最短链路遇到复杂问题就拆成子问题并行查发现查出来的不够就再回去查一轮。这就是四种流程结构的来历顺序是最朴素的串行条件是加了个路由按问题类型走不同分支分支是把一个大问题拆开并行去查、再汇总环形是带了反馈查一轮不够就再查、边生成边查。理解了这条演进主线你就不会被一堆名词淹没——它们都是为了解决前一代的某个具体局限而出现的。十六、面试常考问题速记第一问朴素版检索为什么效果不稳定答因为一刀切的切分会破坏语义一次性粗召回没有精排容易带进噪声而且没有任何根据反馈再检索的机制错了就一路错到底。第二问混合检索为什么要做融合答关键词检索擅长精确术语匹配向量检索擅长语义近似二者互补但它们的分数量纲不同没法直接加权所以用只看排名的融合方法合并两路结果。第三问怎么判断该用检索增强还是微调答看知识是否常更新、是否要求可追溯、是要注入知识还是要固化风格知识常变、要出处用检索增强知识稳定、要风格固化才微调两者常组合。第四问怎么评估一个检索增强系统好不好答用四个维度分别看召回全不全、召回准不准、答案忠不忠于资料、回答有没有答非所问再配上人工抽查和线上反馈。二十四、总结与参考资料回顾整个模块RAG 的价值可以浓缩成一句话不动模型只把对的资料在对的时机递给它。三代范式Naive → Advanced → Modular是这条链路不断加控制的过程预检索与后检索是控制的具体手段RAGAs 四指标是判断有没有变好的标尺而 RAG 与微调的取舍、框架与向量库的选型则决定了这套方案能不能真正落到业务里。如果你只想带走三件事那就是先跑基线再迭代、切分与精排决定召回上限、没有评测就没有优化。把这三条落实到自己的项目里比记住任何一个具体算子都更有价值。24.1 官方文档与项目地址RAG 原始论文Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al., 2020NeurIPS是理解 RAG 设计动机的起点。RAGFlowgithub.com/infiniflow/ragflow官方文档见 ragflow.io/docs主打深度文档理解Docker 部署与知识库解析流程以官方文档为准。LangChainpython.langchain.com/docs检索器、文本切分器与向量库集成的用法都在这里。LlamaIndexdocs.llamaindex.ai进阶 RAG 算子SentenceWindow、RouterQueryEngine、SubQuestion 等的官方实现。Chromadocs.trychroma.com轻量本地向量库适合入门跑通链路。RAGAsdocs.ragas.io四大指标的官方定义与评测脚本示例。TruLenstrulens.org反馈函数与可视化面板的使用说明。BGE 中文向量模型BAAI/bge-small-zh-v1.5智源开源中文 embedding中文场景优先选用。Ollamaollama.com本地跑 qwen2 等开源模型的便捷方式。24.2 推荐阅读资料RAG 综述Retrieval-Augmented Generation for Large Language Models: A SurveyGao et al.系统梳理 Naive / Advanced / Modular 三代范式与本模块的章节结构高度对应。HyDEPrecise Zero-Shot Dense Retrieval without Relevance Labels理解先假设答案再检索的原始思路。FLAREActive Retrieval Augmented Generation边生成边检索的代表工作。Self-RAGLearning to Retrieve, Generate, and Critique through Self-Reflection用特殊 token 把检索决策内化进模型。RRFReciprocal Rank Fusion 原始论文理解为什么混合检索只看名次、不看分数。LLMLingua提示词压缩方向适合关注上下文成本与噪声控制的读者。GraphRAG微软开源项目实体关系复杂领域的补充方案。24.3 下一步怎么走建议按这个顺序推进先用 RAGFlow 或 Chroma LangChain 跑通一个最小可用版本攒二三十个标准问题建立评测集再用 RAGAs 打出基线分然后一次只加一个优化Rerank、查询改写、混合检索每加一次重新打分。等这条链路走顺了再进入模块四把 embedding、重排模型和向量库这三块底座彻底吃透。

相关推荐

学c语言日记
学c语言日记

我是深圳职业技术大学的一名学生,热爱编程,目标以竞赛为导向学习代码。我喜欢思考算法问题,愿意花时间刷题、调试程序,享受从构思思路到写出代码、通过测试样例的过程。遇到难题不会轻易放弃,习惯独立思考,… · 2026/11/21 1:02:14

TestFlight 内外测与 Beta 审核:iOS 分发的两条通道、90 天有效期与沙盒凭证陷阱
TestFlight 内外测与 Beta 审核:iOS 分发的两条通道、90 天有效期与沙盒凭证陷阱

一、开篇:一次「多等了九天」的测试 一个 15 人团队,休闲手游,计划 3 月 20 日开始为期两周的封闭测试。 2025/03/10 包做好了,运营在 App Store Connect 建了个外部测试组导入 200 个玩家邮箱 → 提交 Build → 等 Beta App Review↓ 2025/03/11 被拒:应用启动即崩溃… · 2026/11/20 10:23:12

扫雷游戏源码全解析:从零开始手把手教学
扫雷游戏源码全解析:从零开始手把手教学

扫雷游戏:从完整代码到逐行解析## 一、获取完整代码 复制并在浏览器中打开下面的地址,按照图片指引依次操作即可拿到完整源码:仓库地址:https://gitee.com/cyb122413qaz/daily-practice/tree/master## 二、代码解析与补充说明 1. … · 2026/11/14 0:43:04

电工证高低压怎么接线怎么考 上岗必备全攻略
电工证高低压怎么接线怎么考 上岗必备全攻略

电工证高低压怎么接线怎么考 上岗必备全攻略 学历不高怕报不上名?其实电工证考试对学历要求并不高,只要你有意愿、有行动,就一定能拿到证。别再等了,电工证是很多建筑工地、房建工程岗位的上岗必备,特别是低压和高压电工证,几乎是进入施工现场的“通行… · 2026/11/21 1:01:55

黄江成校电工证多少钱?电工证怎么考?别再被坑了!
黄江成校电工证多少钱?电工证怎么考?别再被坑了!

黄江成校电工证多少钱?电工证怎么考?别再被坑了! 你还在为找不到工作发愁?别人都说“ 急需特种作业证才能上岗找工作 ”,你却连个证都没考,这不就卡在门口了吗?黄江成校电工证多少钱?怎么考?怎么报?今天就给你讲清楚,别再被中介坑了。… · 2026/11/21 1:01:55

初级电工证考试简答题多久拿证,外省证能转吗
初级电工证考试简答题多久拿证,外省证能转吗

初级电工证考试简答题多久拿证,外省证能转吗 之前考的证在外省能不能转过来,这是很多已经在外地考过初级电工证的学员最关心的问题。尤其是一些在外地工作多年的人,回到老家后发现本地的电工证在本地单位不被认可,这时候就容易陷入“到底能不能转”的困惑… · 2026/11/21 1:01:55

电工证复审延期吗郑州报考避坑指南:焦作人如何不被坑
电工证复审延期吗郑州报考避坑指南:焦作人如何不被坑

电工证复审延期吗郑州报考避坑指南:焦作人如何不被坑 你是不是正在为电工证复审延期的问题发愁?在郑州,很多电工从业者都遇到过找机构报名被坑的情况,有的交了钱证书没下来,有的复审流程被搞得一团糟。今天就从焦作一名初次报考人员的视角,带你理清电工… · 2026/11/21 1:01:55

扶绥在哪里办电工证多少钱?别被中介骗了,正规渠道才是王道
扶绥在哪里办电工证多少钱?别被中介骗了,正规渠道才是王道

扶绥在哪里办电工证多少钱?别被中介骗了,正规渠道才是王道 你是不是也在为“扶绥在哪里办电工证多少钱”这个问题发愁?报名时怕被中介坑,选错了地方不仅浪费钱,还可能拿不到证。今天就来帮你理清楚在扶绥如何正规办理电工证,避免踩坑,省心又省钱。… · 2026/11/21 1:01:55

杭州那里可以培训电工证 内部消息告诉你怎么选
杭州那里可以培训电工证 内部消息告诉你怎么选

杭州那里可以培训电工证 内部消息告诉你怎么选 你是不是正愁不知道杭州哪里可以培训电工证?网上一堆信息,真假难辨,生怕一不小心被中介坑了钱还拿不到证?别急,我来给你 内部消息 ,告诉你怎么选正规渠道、怎么避坑、怎么一步步拿到证书。… · 2026/11/21 1:00:55

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/20 16:18:19

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/20 18:25:07

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/20 17:56:32

电工证征求意见2026河南最新政策怎么应对?学历不高也能考!
电工证征求意见2026河南最新政策怎么应对?学历不高也能考!

电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 你是不是也担心自己学历不高, 怕报不上名 ?尤其是像焦作水利工程这样的从业者,常年在一线作业,但证书却成了晋升、转岗、接项目的关键门槛。 2026河南最新政策… · 2026/11/21 0:00:17

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来
电工证征求意见怎么填?含金量高不高?济源电工朋友看过来

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 不知道去哪报名怕被中介坑,电工证征求意见填错了不仅白费钱,还可能影响后续考试和工作。最近很多济源的电工朋友都在问: 电工证征求意见怎么填… · 2026/11/21 0:00:17

房建企业特种工考前押题怎么找?别让培训费打了水漂
房建企业特种工考前押题怎么找?别让培训费打了水漂

房建企业特种工考前押题怎么找?别让培训费打了水漂 怕考不过白交培训费?房建企业特种工考试难度高、题型多,很多人报名后才发现没有合适的复习资料,最终考试落榜,白白浪费了时间和金钱。别担心,掌握【考前押题】的技巧,能让你事半功倍,顺利通过考试。… · 2026/11/21 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:45

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:54

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:26:03

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码