首页/新闻资讯/正文详情

我把 AI 的记忆从上下文里搬了出来:一次检索从 56 万 token 降到 140

发布时间:2026/11/4 2:40:17 来源:云帆数科 栏目:资讯中心
我把 AI 的记忆从上下文里搬了出来:一次检索从 56 万 token 降到 140
问题变贵的不是想是回忆用了三个月 Claude / Cursor 之后账单在涨、响应在变慢而聊的东西并没变多。把每次请求的 token 数打出来看问题不在问了多少而在每次问之前塞了多少。token 不是被读取耗掉的是被把历史记忆塞进上下文耗掉的。你三个月前说过的话已经付过一次钱今天它被重新加载你要再付一次。而且这是复利式的记忆越多每次回忆越贵越贵你越不敢让它记。各平台管它叫积分、额度还是 credits计量单位都是 token下面统一叫 token。所以解法不是少回忆几次——回忆是这个东西存在的全部意义。解法是让检索在模型之外完成。架构三件事一、检索不过模型判断哪条记忆跟当前问题相关是信息检索问题不是推理问题。用大模型做检索相当于开法拉利送外卖。用 SQLite FTS5 BM25 做关键词召回。记忆类文本命名实体密集人名、项目名、术语关键词命中率高得离谱。中文没有空格把 CJK 串切成重叠 bigram 再索引数库、据库、库优……零依赖不用装分词库。需要语义召回再挂一个 24MB 的bge-small-zh-v1.5ONNXCPU 单条 5–15ms不装也能跑退化成哈希向量照样不花钱。二、三层分级只加载最薄的一层层内容体积什么时候加载L0标题 自动关键词~17 token/条常驻系统提示L1摘要~80 token命中后才加载L2原文实际长度明确要求才取L0 的大小恒定不管库里 300 条还是 5000 条常驻索引都约 1000 token因为它只取 Top-N。这条性质决定了它能不能长期用下去。三、成本从读取侧搬到写入侧原始对话流水账不存存蒸馏后的事实谁、做了什么、什么时候、什么决策、什么偏好。写一次花一次钱之后读一万次都是零。这也是整个方案里唯一值得调用 LLM 的地方。分词、关键词、向量、token 计数全部在写入时算好存进表检索时唯一的计算是一次点积。两个反直觉的性能陷阱这部分是我觉得最有价值的两个都跟直觉相反。陷阱一瓶颈不在打分。5000 条记忆检索一次 260ms我以为慢在 BM25 打分或向量点积。profile 出来才发现86% 的时间花在 SQLite 的 commit 上—— Windows 的 fsync 特别贵。改成批量写入 单次提交 WAL synchronousNORMAL260ms → 10ms。陷阱二查询时别碰原文。最初在查询时对候选文档做分词200 个候选 × 全文慢得离谱。改成写入时预计算检索时只读已存好的 blob。两个都是改一行配置级别的事但不 profile 你永远不会往这个方向想。实测数字Windows纯 Python无 numpy可复现记忆条数单次注入全库基线压缩比检索耗时300140 token33,4420.40%~10ms5,000140 token561,6010.02%35–70ms两种规模下 L0 常驻索引都约 1050 token。怎么用我把它做成了memsave一个 MCP 工具任何支持 MCP 的客户端Claude Desktop、Cursor、Windsurf、Cline、WorkBuddy都能接一份记忆所有 AI 通用。pip install memsave memsave rules --write # 让新对话自动先查记忆 memsave savings --install # 每天告诉你省下多少 token暴露 9 个 MCP 工具memory_index/memory_search/memory_get/memory_add支持raw自动蒸馏/memory_update/memory_forget/memory_export/memory_license/memory_stats。每次memory_search的返回末尾附一行本次省下 33,302 token ≈ ¥0.09累计 XXX。记忆存在本机 SQLite随时export成 Markdown 或 JSON。纯标准库零依赖离线可用。落地页https://memsave.app.workbuddy.host/?sharecode5V43SCBI5Q教程https://memsave.app.workbuddy.host/guide.html?sharecode5V43SCBI5Q还没做的多机同步 / 团队共享库 / 云端备份未上线在路线图里移动端没有短期不做语义检索需额外装 24MB 模型不装也能用如果你也在做 Agent 的记忆层欢迎评论聊聊你的检索方案——特别是你踩的性能坑我很想知道别人是不是也撞在 fsync 上。

相关推荐

AI时代,为何Python仍是必学技能?
AI时代,为何Python仍是必学技能?

前阵子跟几个做后端的朋友吃饭,聊到一个挺有意思的话题:如果以后大部分代码都是 AI 写的,那我们还需要学编程吗?有人半开玩笑地说,那以后就只剩“会提问的人”和“不会提问的人”了。我当时没接话,但心里其… · 2026/11/4 2:40:17

流水涨两成利润反缩水,美团LongCat被派去奶茶店抓亏损账
流水涨两成利润反缩水,美团LongCat被派去奶茶店抓亏损账

流水涨两成利润反缩水,美团LongCat被派去奶茶店抓亏损账 如果一家奶茶店的流水比上个月涨了两成多,但老板拉开抽屉一数,赚到手里的净利润反而缩水了,这笔糊涂账到底该怎么算? 很多精明的加盟商面对这种怪事&#xff0c… · 2026/11/4 2:40:17

会议纪要哪个软件总结精准?实测智在记录、讯飞听见、飞书妙记、Otter.ai 的转写与结构化总结差距
会议纪要哪个软件总结精准?实测智在记录、讯飞听见、飞书妙记、Otter.ai 的转写与结构化总结差距

开会这件事,绝大多数职场人都不陌生,真正让人头疼的是会后的两个小时。录音躺在手机里,两万字的转写稿从头翻到尾,谁说的、结论是什么、哪几件事要跟进,全靠自己一句句捋。更麻烦的是,"转得准"和… · 2026/11/4 2:40:17

不装客户端,9 大网盘直链下载全支持:LinkSwift 实用指南
不装客户端,9 大网盘直链下载全支持:LinkSwift 实用指南

不装客户端,9 大网盘直链下载全支持:LinkSwift 实用指南 【免费下载链接】Online-disk-direct-link-download-assistant 一个基于 JavaScript 的网盘文件下载地址获取工具。基于【网盘直链下载助手】修改 ,支持 百度网盘 / 阿里云盘 / 中国移动云盘 / 天翼云盘 / 迅… · 2026/11/4 11:16:07

ComfyUI 节点越装越乱?ComfyUI-Manager 批量卸载完整教程,3 步搞定
ComfyUI 节点越装越乱?ComfyUI-Manager 批量卸载完整教程,3 步搞定

ComfyUI 节点越装越乱?ComfyUI-Manager 批量卸载完整教程,3 步搞定 【免费下载链接】ComfyUI-Manager ComfyUI-Manager is an extension designed to enhance the usability of ComfyUI. It offers management functions to install, remove, disable, a… · 2026/11/4 11:16:07

如何在自定义数据集上微调 SAM 3 分割模型:完整指南
如何在自定义数据集上微调 SAM 3 分割模型:完整指南

如何在自定义数据集上微调 SAM 3 分割模型:完整指南 【免费下载链接】sam3 The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and exam… · 2026/11/4 11:16:07

ComfyUI 跑视频生成,MiniMax-H3 该下哪几个文件?按显存选型的完整实操指南
ComfyUI 跑视频生成,MiniMax-H3 该下哪几个文件?按显存选型的完整实操指南

ComfyUI 跑视频生成,MiniMax-H3 该下哪几个文件?按显存选型的完整实操指南 【免费下载链接】MiniMax-H3 项目地址: https://ai.gitcode.com/hf_mirrors/Comfy-Org/MiniMax-H3 把一条 MiniMax-H3 视频生成工作流拖进 ComfyUI,点下&quo… · 2026/11/4 11:16:07

tiny11builder:官方 Windows 11 ISO 瘦身到 8GB 的 4 步可信方案
tiny11builder:官方 Windows 11 ISO 瘦身到 8GB 的 4 步可信方案

tiny11builder:官方 Windows 11 ISO 瘦身到 8GB 的 4 步可信方案 【免费下载链接】tiny11builder WinUI app for building smaller, customized Windows 11 images. 项目地址: https://gitcode.com/GitHub_Trending/ti/tiny11builder 装完官方 Windows 11&am… · 2026/11/4 11:16:07

NapCatQQ V4.4.2 完整解读:QQ 机器人实时推送与 31245 兼容一次到位
NapCatQQ V4.4.2 完整解读:QQ 机器人实时推送与 31245 兼容一次到位

NapCatQQ V4.4.2 完整解读:QQ 机器人实时推送与 31245 兼容一次到位 【免费下载链接】NapCatQQ Modern protocol-side framework based on NTQQ 项目地址: https://gitcode.com/gh_mirrors/na/NapCatQQ 如果你正在用 NapCatQQ 搭 QQ 机器人,这次 … · 2026/11/4 11:15:07

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

AI辅助技术栈评估:提升研发决策效率60%
AI辅助技术栈评估:提升研发决策效率60%

1. 项目背景与核心价值技术决策一直是研发团队面临的重大挑战。随着技术生态的快速演进,技术栈的选择、维护和迭代变得愈发复杂。我们团队在过去两年里,先后经历了三次重大技术栈迁移,每次都需要投入大量人力进行技术评估和风险分析。直到去年… · 2026/11/4 0:00:17

从生成Token到直接决策:Jev如何重塑AI Agent工程实践
从生成Token到直接决策:Jev如何重塑AI Agent工程实践

1. 从"生成文字"到"拍板决策":Jev 到底在解决什么问题大多数人第一次接触大模型,脑子里建立的模型是"输入问题、输出文字"。你问它今天天气怎么样,它给你一段描述;你让它写个周报,它给你… · 2026/11/4 0:00:17

32G统一内存跑大模型:内存账、TPS实测与端云分流
32G统一内存跑大模型:内存账、TPS实测与端云分流

想在一台 32G 统一内存的小主机上把大模型跑成"日常可用",这件事我前后折腾了小半年。标题里说的这台 Mac mini M6,是我们这次讨论的目标平台,具体到手规格以实物为准;但下面这套推算方法和实测思路,对任何统… · 2026/11/4 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码