首页/新闻资讯/正文详情

Crabtalk会话搜索实战:基于BM25的search_sessions工具与窗口化摘录实现

发布时间:2026/11/21 5:15:20 来源:云帆数科 栏目:资讯中心
Crabtalk会话搜索实战:基于BM25的search_sessions工具与窗口化摘录实现
【免费下载链接】crabtalkThe long-running embedded agent项目地址https://gitcode.com/gh_mirrors/cr/crabtalk点击查看免费下载 Crabtalk 是一个长期运行的嵌入式 agent 守护进程Agent daemon而会话搜索Session Search正是它记得住过去的核心能力内置的search_sessions工具基于BM25算法对所有历史会话消息建立倒排索引按关键词返回窗口化摘录windowed excerpts——命中的那条消息加上它前后若干条上下文而不是整个会话全文。这篇文章带你从原理到实战完整看懂这套会话搜索是如何实现的。 会话搜索解决了什么问题Agent 与用户之间的对话会持续沉淀。当用户问我们上周关于 cron 重构是怎么决定的时Agent 需要一种手段去翻出那次对话——而不是一遍遍全量加载会话既慢又撑爆上下文窗口。早期的方案是给会话打标签、切分 topic但实践中打标签和找内容是两回事标签命名会漂移cron refactorvscron cleanup还得靠 Agent 自觉维护。Crabtalk 的最终结论是内容即索引——直接对消息文本建 BM25 倒排索引用查询词去召回真正讨论过相关内容的会话无需任何预先分类设计动机详见 0185-session-search.md。 一句话概括search_memory搜沉淀下来的记忆条目search_sessions搜发生过的对话两者互补各司其职。 工具参数一览调用 search_sessions 需要知道什么search_sessions作为 Agent 工具暴露给 LLM参数定义在 search.rs参数类型默认值说明querystring必填要匹配的关键词或短语limitusize5返回的会话命中数上限context_beforeusize4每条命中消息之前包含几条消息context_afterusize4每条命中消息之后包含几条消息agentstring无只搜指定 agent 的会话senderstring无只搜指定发送者发起的会话官方工具提示词 sessions.md 给 Agent 的使用建议也很实用先用用户自己的措辞查询查询词保持 2~6 个单词命中后如果上下文不够再加大context_before/context_after。 BM25 打分一条消息凭什么排得更靠前底层是一个零外部依赖、手写实现的小型 BM25 倒排索引位于 bm25.rs与search_memory共用同一份代码IDF 公式采用 Lucene 变体ln((n - df 0.5)/(df 0.5) 1.0)1.0保证常见词的 IDF 不为负bm25.rsK1 1.2B 0.75即短消息中出现关键词会被更明显地奖励分词器按非字母数字字符切分、小写化、过滤单字符词与约 60 个英文停用词bm25.rs在原始 BM25 分数之上还有两层加权让排序更符合直觉① 角色权重index.rs——同一句话谁说的更有分量消息角色权重设计含义用户消息1.5×用户诉求最值得关注工具调用assistant 发起1.3×说明动手做了解决是方案落地的信号助手普通回复1.0×基准系统消息0.5×降权② 会话级字段加成——标题和摘要参与二次打分index.rssummarycompact 压缩时生成的会话摘要命中查询词 →3.0×加成title会话标题命中查询词 →2.0×加成所以标题里就写着 rollback 的会话会稳稳排在前面哪怕正文只提过一次。这一点由测试 sessions_search.rs 明确保证。 窗口化摘录为什么返回的永远只是一小段搜索最大的敌人是失控的输出消息里可能藏着大段工具结果、文件内容返回原始Message对象会瞬间撑爆上下文窗口。因此命中结果被投射成固定小形状SessionHithit.rs并有三条硬性上限hit.rs常量值含义MAX_SNIPPET_BYTES1024单条摘录最大字节数超长截断并标记truncatedMAX_WINDOW_ITEMS16单个命中最多携带的消息条数MAX_HITS_PER_QUERY20单次查询最多返回的会话数窗口构建逻辑在 index.rs以命中消息为锚点向前取context_before条、向后取context_after条如果超出 16 条上限会从两端等量裁切、保留锚点居中。另一个关键设计是每个会话最多返回一条命中best-hit-per-sessionindex.rs——避免某个超长会话刷屏霸占整个结果列表。想看某个会话的完整内容用分页的list_messages去钻取搜索接口刻意不提供加载整个会话的原语。工具返回给 Agent 的最终文本格式search.rs长这样结构清晰、一眼可读## cron refactor session: crab_tester_1 · agent: crab · sender: tester updated: 2026-04-25T00:00:01Z · matched message #12 - [user #10] 上次部署超时的问题还在吗 - [tool-call:shell #11] shell({command: cron list}) - [user #12] planning the cron refactor ← 命中 安全细节哪些内容永远不会进索引这是整个实现里最值得细看的一节index.rs。索引只收录可检索文本extract_indexable_text规则是内容类型是否进入 BM25 索引为什么用户 / 助手消息正文✅核心检索对象工具调用函数名如shell✅支持找我上次运行 shell 的会话这类查询工具调用参数、工具返回结果❌常含凭据、文件内容等敏感信息不能被关键词搜出来自动注入条目环境块、记忆块等❌系统产物非真实对话对应测试 sessions_search.rs 验证一段包含Authorization: Bearer sk-very-secret-token的工具结果搜不到Bearer但搜工具名shell依然能命中那条会话。⚖️ 注意边界命中后窗口摘录里仍会显示工具输出原文——因为搜索到会话就意味着本可以恢复该会话可见性边界与恢复会话一致并不额外泄密。⚡ 性能预算与冷启动重建RFC 给搜索定了硬性性能目标并由 criterion 基准测试持续守护session_search.rs指标目标规模查询延迟 p99≤ 50ms10 万条已索引消息查询延迟 p99≤ 200ms100 万条单条消息索引开销≤ 1ms任意索引规模纯 CPU冷启动重建≤ 500msCPU 部分10 万条索引常驻内存新消息在append_message时增量入索引所以新对话随时可搜。daemon 重启后的冷启动重建由 rebuild_session_index 完成它在锁外构建全新索引后原子换入——并发搜索者永远看到旧索引或新索引绝不会看到中间的空索引重建过程中已有会话即可搜索旧会话随重建推进逐步变得可搜。 源码导读从工具调用到倒排索引想深入源码的话按这条链路读效率最高环节文件工具参数与结果格式化crates/crabtalk/src/hooks/sessions/search.rs工具注册与系统提示词注入crates/crabtalk/src/hooks/sessions/mod.rsAgent 侧使用提示词crates/crabtalk/prompts/sessions.mdRuntime 公开搜索接口crates/runtime/src/engine/session_search.rsBM25 会话索引与窗口构建crates/runtime/src/sessions/index.rs命中形状与硬性上限crates/runtime/src/sessions/hit.rs通用 BM25 倒排索引crates/memory/src/bm25.rs行为测试排序/截断/安全crates/runtime/tests/sessions_search.rs设计 RFC含性能预算docs/src/rfcs/0185-session-search.md 写在最后Crabtalk 的会话搜索可以浓缩成三个设计决策用内容索引取代人工标签——BM25 召回真正讨论过的会话零维护成本窗口化 硬上限——摘录永远有界1KB 片段 / 16 条窗口 / 20 条命中保护上下文窗口不被搜索结果反噬敏感内容不入库——工具参数与工具结果不进倒排索引关键词检索搜不到凭据。理解这套机制后你可以更放心地让长期运行的 Agent翻旧账了。赞分享【免费下载链接】crabtalkThe long-running embedded agent项目地址https://gitcode.com/gh_mirrors/cr/crabtalk点击查看免费下载相关推荐Zoom MCP 会议转录与摘要检索实战基于 knowledge-work-plugins 的搜索、资产与录制资源工作流Zoom MCP 会议转录与摘要检索实战基于 knowledge work plugins 的搜索、资产与录制资源工作流 本指南以 transcript reAI 技能AI 插件人工智能MCP ClientsPyWxDump微信数据恢复终极指南从零开始完整备份聊天记录PyWxDump微信数据恢复终极指南从零开始完整备份聊天记录 还在为微信聊天记录丢失而烦恼想要安全备份重要对话却不知如何入手PyWxDump是一款专门针对BeautySearchWindows 搜索窗口美化工具BeautySearchWindows 搜索窗口美化工具 项目基础介绍 BeautySearch 是一个开源项目旨在为 Windows 10 及更高版本的操上一篇什么是Raw扇区读取OmniDrive实现CD/DVD/BD原始数据读取的原理图解下一篇eve 的 MCP Skills 通道技能参考文件如何做到「字节级精确」发布——以 kennel-handbook 为例创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

PiliPlus:开源跨平台B站客户端,快速上手
PiliPlus:开源跨平台B站客户端,快速上手

PiliPlus:开源跨平台B站客户端,快速上手 【免费下载链接】PiliPlus PiliPlus 项目地址: https://gitcode.com/gh_mirrors/pi/PiliPlus PiliPlus 是一款用 Flutter 开发的免费开源跨平台B站客户端:一套代码同时跑在 Android、iOS、Wind… · 2026/11/15 15:47:52

APK Installer:Windows 免模拟器安装 Android 应用的 3 条路
APK Installer:Windows 免模拟器安装 Android 应用的 3 条路

APK Installer:Windows 免模拟器安装 Android 应用的 3 条路 【免费下载链接】APK-Installer An Android Application Installer for Windows 项目地址: https://gitcode.com/GitHub_Trending/ap/APK-Installer APK Installer 是把 .apk 直接装进 Windows 10… · 2026/11/5 9:50:32

HandBrake 视频转码完整指南:从第一份 MP4 到批量压缩、DVD 存档
HandBrake 视频转码完整指南:从第一份 MP4 到批量压缩、DVD 存档

HandBrake 视频转码完整指南:从第一份 MP4 到批量压缩、DVD 存档 【免费下载链接】HandBrake HandBrakes development repository 项目地址: https://gitcode.com/gh_mirrors/ha/HandBrake HandBrake 是一款免费开源的视频转码工具,Windows、mac… · 2026/11/13 18:48:04

百度查询电工证进度多少钱?怕考不过白交培训费
百度查询电工证进度多少钱?怕考不过白交培训费

百度查询电工证进度多少钱?怕考不过白交培训费 你是不是也怕花了几千块的培训费,结果电工证考试没过,白忙一场?别急,今天我就来帮你梳理清楚【百度查询电工证进度】的全过程,以及考前必须知道的【多少钱】和关键信息,让你少走弯路。… · 2026/11/21 5:14:30

外省电工证能转过来吗?电工作业升降车良心建议全在这了
外省电工证能转过来吗?电工作业升降车良心建议全在这了

外省电工证能转过来吗?电工作业升降车良心建议全在这了 之前考的证在外省能不能转过来?这是很多人在考电工证前最担心的问题。今天我就用一个真实的案例来给大家讲清楚, 电工作业升降车 相关证件怎么转,怎么考,怎么用,尤其是 良心建议… · 2026/11/21 5:14:30

电工证需不需要学历?内部消息曝光!别再被中介忽悠了
电工证需不需要学历?内部消息曝光!别再被中介忽悠了

电工证需不需要学历?内部消息曝光!别再被中介忽悠了 你是不是正愁不知道去哪报名电工证?怕被中介坑得血本无归?电工证现在是不是还要求学历?别急,这里有个 内部消息 ,让你少走弯路,明明白白办证不踩坑。… · 2026/11/21 5:14:30

百度查询电工证进度怎么查电子证书
百度查询电工证进度怎么查电子证书

百度查询电工证进度怎么查电子证书 你是不是也遇到过这种情况:交完钱报名了,几个月过去了,还不知道电工证办下来没?怕被中介坑?怕证书是假的?特别是现在越来越多地方开始使用电子证书,你却不知道怎么查进度、怎么确认证书是否有效?今天就从一个干过多… · 2026/11/21 5:14:30

香港电工证怎么考?实操考试心里没底怕挂科?官方报名入口全解析
香港电工证怎么考?实操考试心里没底怕挂科?官方报名入口全解析

香港电工证怎么考?实操考试心里没底怕挂科?官方报名入口全解析 实操考试心里没底怕挂科,报名流程复杂、材料准备不齐全,这些都是很多想考取香港电工证的人员面临的难题。特别是对于在驻马店从事市政公用工程的电工来说,考取一张正规有效的电工证不仅是提… · 2026/11/21 5:14:30

高压电工证有证书吗通过率揭秘学历不高也能考
高压电工证有证书吗通过率揭秘学历不高也能考

高压电工证有证书吗通过率揭秘学历不高也能考 你是不是也担心学历不高报不了高压电工证?其实根本不用担心, 高压电工证有证书吗 ?答案是 有… · 2026/11/21 5:13:30

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/20 16:18:19

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/20 18:25:07

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/20 17:56:32

电工证征求意见2026河南最新政策怎么应对?学历不高也能考!
电工证征求意见2026河南最新政策怎么应对?学历不高也能考!

电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 你是不是也担心自己学历不高, 怕报不上名 ?尤其是像焦作水利工程这样的从业者,常年在一线作业,但证书却成了晋升、转岗、接项目的关键门槛。 2026河南最新政策… · 2026/11/21 0:00:17

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来
电工证征求意见怎么填?含金量高不高?济源电工朋友看过来

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 不知道去哪报名怕被中介坑,电工证征求意见填错了不仅白费钱,还可能影响后续考试和工作。最近很多济源的电工朋友都在问: 电工证征求意见怎么填… · 2026/11/21 0:00:17

房建企业特种工考前押题怎么找?别让培训费打了水漂
房建企业特种工考前押题怎么找?别让培训费打了水漂

房建企业特种工考前押题怎么找?别让培训费打了水漂 怕考不过白交培训费?房建企业特种工考试难度高、题型多,很多人报名后才发现没有合适的复习资料,最终考试落榜,白白浪费了时间和金钱。别担心,掌握【考前押题】的技巧,能让你事半功倍,顺利通过考试。… · 2026/11/21 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:45

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:54

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:26:03

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码