首页/新闻资讯/正文详情

【AI】Agent 专项进阶|RAG 混合检索策略

发布时间:2026/11/21 7:07:50 来源:云帆数科 栏目:资讯中心
【AI】Agent 专项进阶|RAG 混合检索策略
◆ 博主名称 QuZhengRongAI 俘虏样式苦手⭐️ Agent专栏 Agent⭐️ LuckReport专栏 LuckReport⭐️ SpringBoot专栏 SpringBoot目录一、概念什么是混合检索二、混合检索实现方案1、建立索引2、双路召回3、统一排名4、精排三、实战1、切片与词典2、BM253、融合4、精排四、总结五、LuckReport 项目推荐1、项目简介2、在线体验文档切完之后下一步是从切片里召回上下文。向量检索是上下文召回的主流方案但仅靠向量检索容易召回语义相近但事实无关的切片影响后续回答质量因此生产环境普遍采用混合检索的方案来提高召回效果这一篇要讲的就是混合检索。一、概念什么是混合检索混合检索就是同时采用向量检索和关键词检索将两者检索的结果汇总成一份候选列表。向量检索使用嵌入模型将文本转换为向量在向量数据库中做相似度匹配依据余弦相似度做结果排序。关键词检索主流为 BM25基于字面词语重合度打分擅长处理编号、专有名词、数字与固定术语。两种检索都有短板向量检索对精确字面不敏感容易丢失业务 ID、标识符等关键字BM25 则没法理解语义。因此采用双路并行检索的策略向量补语义BM25 补精确匹配。代价是要建两套索引、做一次融合延迟和实现复杂度都比单路高。二、混合检索实现方案混合检索可以分成四步建立索引 → 双路召回 → 统一排名 → 精排可选。1、建立索引BM25 和向量共用同一批切片chunk id 保持一致这样两路检索的结果合并时才能识别出哪些 chunk 是重复的。向量路用 embedding 入库关键字路则需要建立倒排索引重点讲下关键字路的步骤关键字路在切片前要先分词。在垂直领域场景下Jieba 默认词典缺少大量行业专有术语会出现错误单字拆分例如将「动线」切分为「动」「线」。单字词文档频率 DF 普遍偏高、IDF 权重极低导致核心术语失效实质等同于关键词丢失。因此垂直知识库在建索引前必须提前导入领域术语自定义词典保证专业词正确分词。分完词写入倒排索引词 → 出现过该词的文档列表以及词频。另外存每篇文档长度、语料平均长度、每个词的 DF打分时直接取。demo 可以全放内存生产一般交给 Elasticsearch / OpenSearch 维护倒排文档更新时同步写入或重建索引。部分向量库也带稀疏检索本质仍是倒排 类似 BM25 的打分。2、双路召回查询时两路并行各出一份 top-k再交给后面融合。向量路用余弦相似度BM25 路把查询同样分词按词去倒排取候选再算分。BM25 用于计算查询词与文档之间的字面相关性得分得分主要由三部分构成词频TF查询词在文档中出现次数越多得分越高。逆文档频率IDF词语在语料库中越稀有命中后贡献的分数越高。长度归一化相同词频条件下长文档会做分数折扣避免长文档天然获得更高分数。3、统一排名两路分数计算方式不同所以不能直接拿来比较排名常见的融合方式有以下两种归一化加权将两路得分通过 min‑max 归一化至 0~1 区间再按权重求和。希望偏向语义匹配则调高向量检索权重文档中术语、编号较多时则调高 BM25 权重。缺点是归一化结果依赖当前候选集合候选集发生变化同一文档归一化后的分数也会变动不同查询之间分数不具备可比性。RRFReciprocal Rank Fusion舍弃原始得分仅依靠结果排名计算分数score Σ 1 / (k rank)rank 从 1 起k常取 60。此时第 1 名 ≈ 0.0164第 10 名 ≈ 0.0143。无明确偏向需求时优先选用 RRF业务需要刻意倾斜某一路检索结果再选择归一化加权。4、精排融合仅完成粗排阶段。RRF 算法本身不会解析 Query 和文档的实际内容如果两路检索都召回了无关切片依然会被排在靠前位置。精排把候选和 query 配对按对回答有没有用重打分。有专用 rerank 模型最好没有的话可以把候选一次性塞进大模型打 0~10 分再排序。三、实战做一个餐饮门店经营避坑手册的混合检索实战手册切成 23 块自拟 12 道题每题标一个答案片段里必须出现的关键词对比向量、BM25、混合三路在 top1 / top3 的命中率。向量命中率1 8/12 67%命中率3 12/12 100% BM25命中率1 9/12 75%命中率3 10/12 83% 混合命中率1 9/12 75%命中率3 12/12 100%混合把 BM25 漏掉的改写题补回来了1 没有超过 BM25样本只有 12 条当参考。1、切片与词典fromlangchain_text_splittersimportRecursiveCharacterTextSplitter CN_SEPARATORS[\n## ,\n### ,\n\n,\n,。,,,,, ,]defload_chunks()-list[str]:textDOC_PATH.read_text(encodingutf-8)splitterRecursiveCharacterTextSplitter(separatorsCN_SEPARATORS,chunk_size250,chunk_overlap40,length_functionlen,)returnsplitter.split_text(text)# 不加会切成单字BM25 基本废掉forwordin[动线,坪效,扣点,档口,毛利,复购,引流款,利润款,形象款,SKU]:jieba.add_word(word)2、BM25classBM25:def__init__(self,corpus:list[str],k1:float1.5,b:float0.75):self.k1k1 self.bb self.doc_countlen(corpus)self.doc_terms[tokenize(doc)fordocincorpus]self.doc_lens[len(terms)fortermsinself.doc_terms]self.avg_lensum(self.doc_lens)/self.doc_count self.term_freqs[Counter(terms)fortermsinself.doc_terms]doc_freq:CounterCounter()fortermsinself.doc_terms:doc_freq.update(set(terms))self.doc_freqdoc_freqdef_idf(self,term:str)-float:dfself.doc_freq.get(term,0)returnmath.log(1(self.doc_count-df0.5)/(df0.5))defscores(self,query:str)-list[float]:termstokenize(query)result[]foriinrange(self.doc_count):score0.0forterminterms:tfself.term_freqs[i].get(term,0)iftf0:continue# 长文档同样词频要打折norm1-self.bself.b*self.doc_lens[i]/self.avg_len scoreself._idf(term)*tf*(self.k11)/(tfself.k1*norm)result.append(score)returnresult3、融合defmin_max_normalize(scores:dict[int,float])-dict[int,float]:ifnotscores:return{}valueslist(scores.values())low,highmin(values),max(values)ifhighlow:return{key:1.0forkeyinscores}return{key:(value-low)/(high-low)forkey,valueinscores.items()}defweighted_fusion(vector_hits,bm25_hits,vector_weight0.5,bm25_weight0.5):vector_scoresmin_max_normalize(dict(vector_hits))bm25_scoresmin_max_normalize(dict(bm25_hits))fused{}foridxinset(vector_scores)|set(bm25_scores):fused[idx](vector_weight*vector_scores.get(idx,0.0)bm25_weight*bm25_scores.get(idx,0.0))returnsorted(fused.items(),keylambdax:x[1],reverseTrue)defrrf_fusion(vector_hits,bm25_hits,k:int60):fused{}forhitsin(vector_hits,bm25_hits):forrank,(idx,_)inenumerate(hits):fused[idx]fused.get(idx,0.0)1/(krank1)returnsorted(fused.items(),keylambdax:x[1],reverseTrue)问 “1.2 租金红线” 时两路第一名一样差在二三名问题1.2 租金红线 向量路召回 8 条BM25 路召回 4 条 纯向量排序 1. [分 0.6568] ### 1.2 租金红线 2. [分 0.5076] ## 二、成本结构三条红线 3. [分 0.5032] ## 一、选址先看动线再谈租金 纯 BM25 排序 1. [分 6.9532] ### 1.2 租金红线 2. [分 3.5932] ## 一、选址先看动线再谈租金 3. [分 2.6597] ### 1.1 三种铺位类型 归一化加权融合 1. [分 1.0000] ### 1.2 租金红线 2. [分 0.3826] ## 一、选址先看动线再谈租金 3. [分 0.2353] ### 1.1 三种铺位类型 RRF 融合 1. [分 0.0328] ### 1.2 租金红线 2. [分 0.0320] ## 一、选址先看动线再谈租金 3. [分 0.0318] ## 二、成本结构三条红线4、精排RERANK_PROMPT你是检索排序助手。请判断下面每个候选片段对回答用户问题的有用程度给 0~10 的整数分。 10 分表示片段直接回答问题0 分表示完全无关。片段之间分数可以相同。 只输出 JSON 数组不要任何解释文字形如 [{id: 0, score: 8}] 用户问题{query} 候选片段 {candidates} defrerank(query:str,candidates:list[str])-list[tuple[int,float]]:formatted\n.join(f[{i}]{text[:200]}fori,textinenumerate(candidates))responsellm.invoke(RERANK_PROMPT.format(queryquery,candidatesformatted))contentre.sub(r^json|$,,response.content.strip(),flagsre.MULTILINE).strip()try:scoredjson.loads(content)exceptjson.JSONDecodeError:print( 精排返回解析失败沿用召回顺序)return[(i,0.0)foriinrange(len(candidates))]ranked[(item[id],float(item[score]))foriteminscored]returnsorted(ranked,keylambdax:x[1],reverseTrue)外卖满减这题RRF 把 “出餐速度” 排进前三精排后掉出去“定价错误” 顶上来——满减亏不亏本质是定价得读内容才分得清问题外卖满减怎么设计才不亏本 召回候选 10 条 RRF 融合排序 top3 1. [分 0.0328] ## 六、线上运营与外卖 2. [分 0.0320] ### 2.1 容易被忽略的隐性成本 3. [分 0.0312] ### 6.1 出餐速度是外卖的生命线 精排后 top3 1. [分 10] ## 六、线上运营与外卖 2. [分 9] ### 3.1 定价的常见错误 3. [分 8] ### 2.1 容易被忽略的隐性成本评测脚本在recall_eval.py题集要掺改写问法不然数字偏向 BM25TEST_SET[(加盟品牌怎么判断靠不靠谱,品牌直营店),(1.2 租金红线,百分之十五),(金角银边草肚皮,草肚皮),(厨师走了配方怎么办,料包),(外卖满减怎么设计才不亏本,反推利润),(供应商出事了怎么办,三文鱼),(店长每天要盯什么,顾客投诉),(关店前要算哪些账,储值卡),# 改写问法字面对不上专门打向量路(后厨师傅一走顾客就不来了怎么防,料包),(每天生意看着还行月底一算没利润,折旧),(平台抽完成到手还剩多少,百分之七十),(亏到什么程度就该收手了,一点五倍),]四、总结混合检索整体流程包含索引构建、双路召回、结果归并排序必要时追加精排环节。向量检索负责语义匹配BM25 负责字面关键词匹配结果融合优先选用 RRF 算法若需要侧重某一路结果可改用加权融合精排会读取文本实际内容用于修正粗排输出的顺序。五、LuckReport 项目推荐导航LuckReport专栏1、项目简介Luck-Report 是一款基于开源项目 UReport2 重构的 Java 高性能报表引擎通过迭代单元格可以实现任意复杂的中国式报表。相较于 UReport2Luck-Report 在技术架构上进行了全新升级后端基于 SpringBoot 框架开发、前端采用 Vue 框架构建技术选型贴合当下主流项目开发标准可精准适配各类实际开发需求。Luck-Report 提供了全新的基于网页的报表设计器可以在 Chrome、Firefox、Edge 等各种主流浏览器运行IE 浏览器除外。使用 Luck-Report打开浏览器即可完成各种复杂报表的设计制作。Luck-Report 基于 Apache-2.0 开源协议开源2、在线体验体验地址https://www.quzhe.top/luck-report/report/designer源码地址https://gitee.com/LuckyPools/luck-report文档地址https://www.quzhe.top/luck-report-blog/report

相关推荐

rust-glancer 开发入门教程:用 just 与 cargo-nextest 快速搭建环境、构建并运行测试的完整指南
rust-glancer 开发入门教程:用 just 与 cargo-nextest 快速搭建环境、构建并运行测试的完整指南

【免费下载链接】rust-glancer Lightweight Rust LSP optimized for low memory usage 项目地址: https://gitcode.com/gh_mirrors/ru/rust-glancer 点击查看 免费下载 rust-glancer 是一个主打低内存占用的轻量级 Rust LSP(Language Server Protocol&a… · 2026/11/15 20:35:05

Java 已知三个点,求多边形的最小面积(Minimum area of a Polygon with three points given)
Java 已知三个点,求多边形的最小面积(Minimum area of a Polygon with three points given)

如果您喜欢此文章,请收藏、点赞、评论,谢谢,祝您快乐每一天。已知正多边形(n > 3)的三个顶点,求由这三个顶点构成的正多边形(四边相等)的最小面积。例如: 输入&#x… · 2026/11/12 8:34:56

DQN深度Q网络强化学习Atari游戏:5步跑通Breakout训练并避开Q值高估坑
DQN深度Q网络强化学习Atari游戏:5步跑通Breakout训练并避开Q值高估坑

DQN深度Q网络强化学习Atari游戏:5步跑通Breakout训练并避开Q值高估坑 【免费下载链接】reinforcement-learning Implementation of Reinforcement Learning Algorithms. Python, OpenAI Gym, Tensorflow. Exercises and Solutions to accompany Suttons Book and Da… · 2026/11/14 8:29:39

大理剑川电工证过期了怎么续期?电子证书续期全攻略
大理剑川电工证过期了怎么续期?电子证书续期全攻略

大理剑川电工证过期了怎么续期?电子证书续期全攻略 证书过期了不知道怎么复审延期?别急,大理剑川电工证电子证书续期其实没有你想象的那么难,但确实需要一套完整的流程。很多人因为不了解续期流程,导致证书失效,影响工作甚至被单位辞退。今天就来详细聊… · 2026/11/21 7:07:43

仙桃电工证哪里报名多久拿证全攻略 电工证异地转接怎么操作
仙桃电工证哪里报名多久拿证全攻略 电工证异地转接怎么操作

仙桃电工证哪里报名多久拿证全攻略 电工证异地转接怎么操作 之前考的证在外省能不能转过来?这是很多电工朋友最关心的问题。其实,电工证全国通用,但要转接,流程和材料可不能马虎。很多人因为不了解流程,耽误了 多久拿证… · 2026/11/21 7:07:43

常平电工证哪里报考考前押题帮你省时省力
常平电工证哪里报考考前押题帮你省时省力

常平电工证哪里报考考前押题帮你省时省力 工地太忙根本没时间复习考试,特别是像你这样天天在项目上跑来跑去的电工,一有空就想着休息,哪还有心思去背那些电工理论和实操题?别急,常平电工证哪里报考?其实你不用愁,关键是有没有合适的 考前押题… · 2026/11/21 7:07:43

仙桃电工证哪里报名,真实经历告诉你怎么避坑
仙桃电工证哪里报名,真实经历告诉你怎么避坑

仙桃电工证哪里报名,真实经历告诉你怎么避坑 证书过期了不知道怎么复审延期,这事儿我亲身经历过。当时手头的低压电工证刚好到期,结果因为没及时处理,差点被单位停岗。后来我才知道,特种作业操作证的复审流程其实不难,关键是你得知道在哪里报名、怎么操… · 2026/11/21 7:07:43

九亭考电工证保姆级教程:避开中介坑,手把手教你搞定低压电工证
九亭考电工证保姆级教程:避开中介坑,手把手教你搞定低压电工证

九亭考电工证保姆级教程:避开中介坑,手把手教你搞定低压电工证 不知道去哪报名怕被中介坑?你不是一个人。最近几年, 九亭考电工证… · 2026/11/21 7:07:42

南方电网需要电工证吗 通过率揭秘:工地太忙根本没时间复习考试
南方电网需要电工证吗 通过率揭秘:工地太忙根本没时间复习考试

南方电网需要电工证吗 通过率揭秘:工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这是很多一线电工的真实写照。尤其是像南方电网这类大型企业,对电工证的要求越来越严格,不光要持证上岗,还得定期复审,否则一旦被查到无证或证书过期,轻则停… · 2026/11/21 7:06:42

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/20 16:18:19

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/20 18:25:07

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/20 17:56:32

电工证征求意见2026河南最新政策怎么应对?学历不高也能考!
电工证征求意见2026河南最新政策怎么应对?学历不高也能考!

电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 你是不是也担心自己学历不高, 怕报不上名 ?尤其是像焦作水利工程这样的从业者,常年在一线作业,但证书却成了晋升、转岗、接项目的关键门槛。 2026河南最新政策… · 2026/11/21 0:00:17

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来
电工证征求意见怎么填?含金量高不高?济源电工朋友看过来

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 不知道去哪报名怕被中介坑,电工证征求意见填错了不仅白费钱,还可能影响后续考试和工作。最近很多济源的电工朋友都在问: 电工证征求意见怎么填… · 2026/11/21 0:00:17

房建企业特种工考前押题怎么找?别让培训费打了水漂
房建企业特种工考前押题怎么找?别让培训费打了水漂

房建企业特种工考前押题怎么找?别让培训费打了水漂 怕考不过白交培训费?房建企业特种工考试难度高、题型多,很多人报名后才发现没有合适的复习资料,最终考试落榜,白白浪费了时间和金钱。别担心,掌握【考前押题】的技巧,能让你事半功倍,顺利通过考试。… · 2026/11/21 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:45

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:54

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:26:03

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码