省下75%的Token：cavemem原始人语法压缩的完整奥秘

【免费下载链接】cavememFrozen — cross-agent persistent memory for coding assistants. Still works; the compressed-memory core now ships inside JuliusBrussee/caveman.项目地址https://gitcode.com/gh_mirrors/ca/cavemem点击查看免费下载cavemem 是一款为 AI 编程助手打造的跨 Agent 持久记忆工具它在本地 SQLite 中为 Claude Code、Codex、Cursor 等编程助手保存跨会话记忆并用独特的原始人语法caveman grammar把记忆文本压缩到原文的约 1/4——prose token 平均节省 75% 左右而代码、路径、URL 一字不变。全程本地运行无云端、无网络。为什么你的 AI 助手总在失忆又烧钱用过 AI 编程助手的人大概都遇到过两个糟心场景会话一结束助手全忘光——昨天排查过的报错、定下的架构决策今天换个会话又得从头说一遍。Token 账单蹭蹭涨——助手反复读取大段上下文、重复搬运历史结论费用越滚越大。cavemem 的两个答案在会话的每个边界时刻开始、提问、工具调用、结束触发钩子把发生了什么写入本地 SQLite写入前先用确定性的原始人语法压缩引擎瘦身——不依赖任何大模型纯规则引擎可离线运行。整体数据流如下session event → redact private → compress → SQLite FTS5 ↑ MCP queries on demand特性说明跨会话持久记忆钩子捕获事件本地库保存多 IDE 共享压缩即存储Compressed at rest确定性语法读回时可还原为通顺英文渐进式检索search/timeline/get_observations三个 MCP 工具先过滤再取全文混合搜索SQLite FTS5 关键词 本地向量索引默认全本地无网络调用嵌入模型可换 ollama / openai一眼看懂压缩效果75% 的 Token 去哪了官方示例里一条记忆经历了三种形态Input: The auth middleware throws a 401 when the session token expires; we should add a refresh path. Stored: auth mw throws 401 session token expires. add refresh path. Viewed: The auth middleware throws a 401 when session token expires. Add refresh path.对比一下就能数出差距形态大致 token 数Input原文24Stored压缩存储12节省比例≈50%单句官方语料库基准约75%prose 节省用仓库里的真实基准语料 evals/corpus/commit-message.md 来演示一条典型的 commit 消息原文The implementation was really starting to spread across multiple files and the documentation was out of date. I basically consolidated everything into a single module and updated the README to point to the new location. Note that the dependencies were also updated.full 强度压缩后示意impl really spread across multiple files docs out of date. consolidated everything single module updated README point new location. deps updated.填充词really / basically、冠词the / a、客套Note that、长词implementation → impl、documentation → docs、dependencies → deps全部瘦身而README、路径、版本号等一个字符都没动。压缩管道全解分词 → 保留 → 变换压缩引擎只遵守三步流水线代码见 packages/compress/src/compress.tsinput → tokenize → [preserved | prose] → transform prose → join → output第 1 步分词器Tokenizer先给文本划保护圈。tokenize.ts 内置 11 类片段识别规则其中 9 类被标记为保留区永远逐字节原样通过保留类型例子fence/inline-code三反引号代码块、行内代码urlhttps://example.com/...path/etc/hosts、~/src、C:\a\bversion/date/numberv1.2.3、2026-04-18、401identifiersnake_case、camelCase、kebab-nameheading# 标题只有剩下真正的prose普通散文文字才会进入压缩环节。第 2 步对 prose 做四连变换顺序见 compress.ts删客套话、模糊语气词hedges、填充词fillers和冠词套用缩写表configuration→config、middleware→mw…折叠多余空白并精心保留 prose 与路径/代码之间的边界空格避免at /tmp/x变成at/tmp/x拼接输出。第 3 步词典驱动强度可调。所有词表都集中在一份 JSON 里——packages/compress/src/lexicon.json改词表即可扩展新规则。三档压缩强度lite / full / ultracavemem 把省多少交给三档强度默认是full维度litefull默认ultra冠词 the/a/an保留删除删除填充词12 个18 个 it should be noted that 等24 个 perhaps、usually 等模糊语气词保留删除 6 组删除 11 组缩写规则5 条35 条45 条含w/、b/c、、b4full把authentication压成auth、request压成req工程味十足的原始人黑话。ultra连because → b/c、with → w/、and → 都上压缩最狠适合纯机器读的存储场景。基准目标见 docs/compression.mdfull 档 ≥40%、ultra 档 ≥55% 的 token 削减而 README 宣称的 prose 节省上限约 75%。配置入口在settings.jsoncavemem config set compression.intensity ultra即可切换完整参数见 packages/config/src/defaults.ts。解压还原给模型的通顺版记忆压缩是有损的但损失被严格控制在填充词层面。读取时走expand流程expand.ts已知缩写按expansions表还原mw→middleware、cfg→configuration大小写还会智能匹配代码、URL、路径、日期、版本号在往返中逐字节一致由测试逐一断言compress.test.ts被删掉的填充词不会强行找回来——存的就是简版读的是展开版。官方承诺的三条硬契约docs/compression.md契约含义确定性同输入 同强度输出永远相同方便测试与复现技术 token 逐字节保留压缩与还原都不碰代码/路径/URL实质可往返expand(compress(x))保留全部技术细节仅填充词有损所以 MCP 工具get_observations默认返回展开后的通顺英文——AI 读到的记忆依然流畅只是更短。快速上手一条命令接入你的 IDEcavemem 无需守护进程钩子同步写入本地 worker 首次触发时自动后台启动建向量索引、服务网页查看器空闲后自行退出。npm install -g cavemem cavemem install # 默认接入 Claude Code cavemem install --ide cursor # 或 opencode | codex | copilot | augment | gemini-cli cavemem status # 查看接线状态与嵌入回填进度 cavemem viewer # 浏览器打开本地记忆查看器 (127.0.0.1:37777)IDE 支持一览详见 README 的能力矩阵✅可采集 可查询Claude Code、OpenCode、Codex、GitHub Copilot、Augment Code仅查询无 hooks 系统Cursor、Gemini CLI、Antigravity、IBM Bob日常最常用的几条命令命令用途cavemem search queryBM25 余弦重排混合搜索记忆cavemem compress file对任意文件做原始人压缩自动备份.original并打印节省百分比cavemem doctor体检安装是否健康cavemem export / importJSONL 备份与跨机迁移cavemem compress的实现在 apps/cli/src/commands/compress.ts——除了压缩它还会顺手统计并告诉你省了多少 token。隐私与配置敏感信息零入库压缩是省钱的隐私是保命的cavemem 两者都做了private.../private标记的内容在写入边界被整体剥除packages/compress/src/privacy.ts形似密钥的字符串API key、token、密码默认替换为[REDACTED]privacy.excludePatterns支持路径 glob如[**/.env, **/secrets/**]匹配目录永不采集本地 worker 仅绑定127.0.0.1API 需要 bearer tokenenrich联网功能默认关闭。小结Token 减半记忆永久收益点机制省 token确定性原始人语法prose 平均省 ~75%零模型调用不失真代码/路径/URL/版本号逐字节保留测试级保证可通顺读回expand还原缩写MCP 默认返回展开文本记忆跨会话钩子自动采集本地 SQLite FTS5 向量混合检索隐私可控敏感剥离 路径排除 密钥脱敏全程本地需要说明的是cavemem 目前处于Frozen冻结状态2026 年 8 月起一切功能仍可正常安装运行但压缩核心已在同家族的 caveman 项目中继续活跃演进——核心机制与本文描述完全一致可放心使用。想动手试把仓库克隆下来git clone https://gitcode.com/gh_mirrors/ca/cavemem翻一翻 docs/compression.md 与 docs/architecture.md再跑跑 evals/src/bench.ts 的基准脚本压缩前后的 token 对比一目了然。赞分享【免费下载链接】cavememFrozen — cross-agent persistent memory for coding assistants. Still works; the compressed-memory core now ships inside JuliusBrussee/caveman.项目地址https://gitcode.com/gh_mirrors/ca/cavemem点击查看免费下载相关推荐BBDown B站视频下载指南如何用命令行拿下 8K 视频与番剧全集BBDown B站视频下载指南如何用命令行拿下 8K 视频与番剧全集 BBDown 是一款免费、开源的命令行式哔哩哔哩视频下载器把任意 B 站链接丢给它它CLI音视频Napkin-math压缩算法深度解析bitpacking技术的性能奥秘Napkin math压缩算法深度解析bitpacking技术的性能奥秘 在当今数据爆炸的时代 高效压缩算法 已成为系统性能优化的关键。Napkin mat性能测试pako压缩算法原理从DEFLATE到LZ77的完整解析pako压缩算法原理从DEFLATE到LZ77的完整解析 pako是一个高性能的JavaScript压缩库实现了zlib的完整功能可以在浏览器和Node.后端上一篇LeetCode 1470 重新排列数组双指针新数组与置换环原地算法——codeforces-go 仓库中的 Go 实现与测试验证下一篇Krita 在 Wayland 下的色彩校样Color Proofing实现解析ICCv4 白点语义与渲染意图管线创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考