首页/新闻资讯/正文详情

从 Query-Agnostic 到 Query-Aware:读 Attention Matching,把 KV 压缩提速两个数量级

发布时间:2026/11/18 9:13:22 来源:云帆数科 栏目:资讯中心
从 Query-Agnostic 到 Query-Aware:读 Attention Matching,把 KV 压缩提速两个数量级
从 Query-Agnostic 到 Query-Aware读 Attention Matching把 KV 压缩提速两个数量级一、回到那个显存问题第一篇里算过KV Cache 会随上下文长度线性增长。放到真实模型上更直观一个 7B 模型KV Cache 约 0.5 MB/token128K 上下文的缓存光这一项就是 64 GB再叠加约 14 GB 的模型权重一张 80 GB 的 A100 直接被占满。所以问题很清楚既然历史 K、V 不能不存那就只能想办法存得少一点、存得小一点。这就是 KV Cache 压缩compaction要解决的事。二、Attention Matching不训练直接闭式求解之前有一类方法Cartridges用隐空间端到端训练来生成紧凑的 KV效果不错但要训练数小时没法在线部署。Attention Matching 换了一条路不做梯度训练直接把压缩定义成一个最小二乘拟合问题用代数闭式解算出来。它想达成的目标是——给定原始 KVK, V和一组参考查询 Q找一组更小的压缩键值C_k, C_v使得压缩后产生的注意力行为尽量等于原始行为。这里的注意力行为被精确拆成了两个量注意力输出softmax(QK^T/√d)·V注意力最终聚合出来的内容注意力质量softmax 归一化前的配分函数 Σexp(q·k/√d)这一块的总量。对这两个量的拟合对应三个闭式步骤**图 1说明**Attention Matching 的整体流程。顶部是优化目标用更少的键重建同样的注意力行为具体拆成注意力输出和注意力质量两个被对齐的量中间是三个闭式步骤——OMP 选键、NNLS 拟合偏置 β、最小二乘求压缩值 C_v橙色框是本文认为最容易被忽略的关键点softmax 归一化导致键变少后分母必然变小必须用 β 把注意力质量补回来底部是输出最高 50× 压缩、秒级完成。本图由作者根据论文方法部分绘制非论文原图。第 ② 步是整个方法最容易被人忽略、也最关键的一步。一个直觉softmax 是归一化的键一旦从 T 个减到 t 个分母配分函数必然变小。如果只是删掉一些 token、把剩下的原样保留压缩块的注意力质量会被系统性低估。β 的作用就是给保留下来的键重新加权把少掉的那部分质量补回来。这正对应论文 Eq.(2) 的主张——只丢 token 不补偏置是有代价的。效果论文报告最高 50× 压缩秒级完成性能逼近 Cartridges速度提升两个数量级。论文用一张图同时展示压得有多狠和快了多少**图 2说明**论文 Figure 1。横轴是压缩一个上下文所需的平均耗时秒对数刻度单张 H100纵轴是压缩后的下游问答准确率Qwen3-4BQuALITY 数据集n894固定 50× 压缩比。AM 系列方法在速度-质量上构成 Pareto 前沿比所有 token 选择类基线更优且显著快于 Cartridges。需要提醒的是图中各基线的位置是 50× 这一极限压缩比下的结果SnapKV 等方法的常规工作区间压缩比更温和不宜直接解读为谁更差。图片来源Zweiger et al., Fast KV Compaction via Attention Matching, ICML 2026, Figure 1。本文截图仅用于学习分析未修改图中数据。三、主流方案横向对比两条路线各自的短板把几类主流方案横向摆开各自有各自的代价方案核心做法短板Cartridges隐空间端到端训练生成紧凑 KV训练几小时无法在线部署H2O / PyramidKV按历史累计注意力分数淘汰 tokenQuery-Agnostic不关心当前问题SnapKV观察窗口投票选重要 tokenQuery-Aware但只是 token 级驱逐prefill 时一次选好文本 Summarization把长上下文压成文本摘要丢细粒度信息高压缩率精度暴跌PagedAttention (vLLM)分页管理消除碎片只解决碎片不减少 KV 总量Attention Matching闭式最小二乘隐空间压缩一次性压缩参考 query 固定把它们放在一起看可以得到一个更准确的图景Query-Agnostic 仍是主流但 SnapKV 已经在 Query-Aware 方向迈出了一步——只是这一步还停在 token 级驱逐上。不同的内容应该保留不同的 token这件事SnapKV 的实验恰好给出了正面证据下一节展开。四、SnapKVQuery-Aware 已经迈出的一步H2O 这类方法用整个历史的累计注意力分数决定谁留下和当前问题无关。SnapKV 换了一个信息来源prompt 末尾的观察窗口——也就是包含当前问题的那一小段。**图 3说明**SnapKV 的整体工作流论文 Figure 1。左侧是几条不同的问题指令中间是核心机制用 prompt 末尾的观察窗口绿色 Obs. window对前缀Prefix历史做投票与选择Voting Selecting Important Features再经过聚类与拼接Clustering Concatenating Features把选出的重要特征与完整观察窗口一起组成压缩后的 KV cacheCompressed KVs。图片来源Li et al., SnapKV, NeurIPS 2024, Figure 1。本文截图仅用于学习分析未修改图中内容。它有三个发现值得单独记下来每个注意力头在生成过程中始终关注特定的 prompt 特征而这个模式可以从观察窗口稳定获得——所以用窗口投票就能提前知道该保留谁重要的注意力特征会随问题instruction变化——这直接说明一套缓存服务所有问题存在系统性缺陷只选最高分位置会破坏上下文完整性论文举的例子可能只记住电话号码的国家码其余靠编所以要配合聚类把重要位置周围的 token 一起保留。其中第 2 条发现论文用了一张非常有说服力的实验图**图 4说明**不同问答对在同一文档上各自选出的重要位置的重叠率论文 Figure 4纵轴为 Overlap横轴为层号三个数据集为 QMSum / Openreview / SPACE。可以看到重叠率始终明显低于 1——也就是说不同的问题确实会关注不同的 token。这是一套缓存服务所有问题存在缺陷的直接证据也是我后面设想的出发点。图片来源Li et al., SnapKV, NeurIPS 2024, Figure 4。本文截图仅用于学习分析未修改图中数据。效果上SnapKV 在 16K 输入下生成速度提升 3.6 倍、内存效率提升 8.2 倍并在 16 个长序列数据集上保持与基线相当的性能。但它离我想要的方向还差两步第一它做的是 token 级驱逐——被保留的 token 原样保留没有隐空间压缩第二它在 prefill 阶段一次性选好生成阶段不再调整。五、我的设想把 AM 和 SnapKV 各往前推一步把前面两篇论文摆在一起能看到一个明显的空档AM手里有闭式隐空间压缩这个强工具秒级、50×但它是 Query-Agnostic 的SnapKV是 Query-Aware 的但只做 token 级驱逐且 prefill 一次选好。那么一个自然的延伸是用 query 信号驱动 AM 这套闭式压缩——拿到用户真实的提问之后动态地重新做一次隐空间压缩。**图 5说明**左列是现有方案含 AM的通用模式文章 prefill 产生一组固定参考 query压缩一次之后所有问题共用同一份压缩缓存右列是我的初步设想把当前问题也作为参考 query 的来源每个问题各做一次闭式压缩缓存与提问一一对应。底部橙色文字是这一设想必须诚实面对的代价——每个问题都要重算会带来额外延迟。本图由作者绘制非论文原图。问主旨 → 优先保留开头、结尾的 token问某个实验细节 → 优先保留对应段落的 token。来源启发也很直接AM 提供的秒级闭式工具让每来一个问题就重算一次从不可行变成可以尝试。但这里有一个必须诚实面对的代价每来一个新问题就重新做一次最小二乘会带来额外延迟。这正是我预判会被问到的点——动态压缩的准确率提升是否值得付出的时间开销这需要实验来回答而不是靠直觉。六、本周实操我已经在 CPU 上跑通了什么按先吃透底层、不急着造新算法的原则我做了四件事复现在纯 CPU 上加载 Qwen3-0.6B 真实 QuALITY 文章跑通 AM-OMP 的 50× 压缩链路。615 个 token 压到 12 个显存元素数缩减 94.2%压缩耗时约 5.7 秒。读代码把 OMP 选键、NNLS 拟合 β、最小二乘求 C_v 三个模块逐一拆开用合成数据验证了每步的数学含义和数值一致性。观察现象注意力越分散的 head 越难压缩——承载注意力质量的主导 token 越多重建质量越差余弦相似度从约 0.81 降到 0.54。基线对照在 50× 预算下AM 的注意力输出重建余弦相似度约 0.70而 H2O 式驱逐 / 截断 / 随机只有约 0.13~0.20更重要的是注意力质量配分函数相对误差AM 约 0.27~0.54不带 β 的驱逐高达 0.97~0.98——几乎丢光。这组数字直观说明了闭式求解 β 补偿到底好在哪。这些只是合成数据和小模型上的初步观察不能当作最终结论但已经足够支撑下一步的实验设计。七、下一步用实验回答动态压缩到底值不值接下来的核心实验只有一个问题在相同的缓存预算下Query-Aware用当前问题动态压缩是否比 Query-Agnostic一次性压缩带来更好的任务表现同时记录它额外付出多少时间。参考资料[1] Zweiger et al., Fast KV Compaction via Attention Matching, ICML 2026. arXiv:2602.16284.[2] Li et al., SnapKV: LLM Knows What You are Looking for Before Generation, NeurIPS 2024. arXiv:2404.14469.[3] Kwon et al., Efficient Memory Management for Large Language Model Serving with PagedAttention, SOSP 2023.推荐标签大语言模型LLMKV CacheAttention Matching闭式求解Query-Aware模型推理![请添加图片描述](https://i-blog.csdnimg.cn/direct/f19e00685f78429da911b3e32e51e4ce.png

相关推荐

RAG系统中向量数据库实时同步与数据保鲜实践
RAG系统中向量数据库实时同步与数据保鲜实践

1. RAG向量库数据保鲜的核心挑战在构建检索增强生成(RAG)系统时,向量数据库作为核心组件存储着文档的嵌入表示。但现实场景中,源数据往往处于持续更新状态,这就引出了一个关键问题:如何确保向量库与原始数据… · 2026/11/16 5:48:27

WebMCP协议与前端智能化架构实践解析
WebMCP协议与前端智能化架构实践解析

1. 企业级前端智能化架构全景解析三年前我在某跨国电商平台主导前端架构升级时,首次接触到WebMCP协议。当时团队正深陷"自动化测试覆盖率不足"和"动态内容交互难以维护"的泥潭,直到这套架构的出现彻底改变了我们的研发模式。WebMCPW… · 2026/11/16 17:12:30

给AI装审美包却毫无变化?踩过坑才明白:配置顺序错一步,后面全白干
给AI装审美包却毫无变化?踩过坑才明白:配置顺序错一步,后面全白干

给AI装审美包却毫无变化?踩过坑才明白:配置顺序错一步,后面全白干 【免费下载链接】taste-skill Agent skills that give coding agents taste: art direction, reference images and a browser check instead of generic AI pages 项目地址… · 2026/11/11 14:07:51

南昌那里有电工证买?良心建议:别被坑了,手把手教你考证流程
南昌那里有电工证买?良心建议:别被坑了,手把手教你考证流程

南昌那里有电工证买?良心建议:别被坑了,手把手教你考证流程 你现在正为“南昌那里有电工证买”这个问题头疼?急需特种作业证才能上岗找工作,时间又紧任务又重,网上信息太多又真假难辨,生怕一不小心就选错了地方,耽误了机会甚至花了冤枉钱?别急,我来… · 2026/11/18 9:12:50

电工证复审考那些内部消息曝光,实操考试心里没底怕挂科
电工证复审考那些内部消息曝光,实操考试心里没底怕挂科

电工证复审考那些内部消息曝光,实操考试心里没底怕挂科 你是不是正准备复审电工证,但一想到实操考试就紧张得不行?担心自己考不过、白费时间和钱?别急,这里有个 内部消息… · 2026/11/18 9:12:50

漳州电工证办理在哪考?外省证怎么转过来
漳州电工证办理在哪考?外省证怎么转过来

漳州电工证办理在哪考?外省证怎么转过来 之前考的证在外省能不能转过来?这几乎是所有准备在漳州从事电工工作的人都会问的问题。很多人拿着外地的电工证,担心在漳州不能用,或者需要重新考试,浪费时间又费钱。其实, 漳州电工证办理… · 2026/11/18 9:12:50

电工证复审考那些,上岗必备的干货全在这儿
电工证复审考那些,上岗必备的干货全在这儿

电工证复审考那些,上岗必备的干货全在这儿 你是不是也遇到过这样的情况:电工证快到期了,不知道去哪报名,怕被中介骗钱,还怕考试不过影响工作?别急,我来告诉你电工证复审到底要考什么,怎么准备,还有那些避坑的干货,让你一次搞定上岗必备的电工证复审… · 2026/11/18 9:12:50

德清哪里考电工证官方回应:证书短缺倒逼就业门槛
德清哪里考电工证官方回应:证书短缺倒逼就业门槛

德清哪里考电工证官方回应:证书短缺倒逼就业门槛 你还在为找不到电工证发愁吗?德清哪里考电工证?这个问题在当下成了很多求职者的燃眉之急,尤其是在特种作业领域,电工证早已不是“可有可无”的证明,而是“上岗通行证”。官方回应也明确指出,随着安全生… · 2026/11/18 9:12:50

电工证操作考试怎么考?新办电工证操作考试含金量全解析
电工证操作考试怎么考?新办电工证操作考试含金量全解析

电工证操作考试怎么考?新办电工证操作考试含金量全解析 你是不是正愁不知道去哪报名,怕被中介坑?新办电工证操作考试不仅关系到你能不能上岗,还直接决定了证书的含金量。特别是现在电工行业竞争激烈,手握一张正规的电工证,才能在项目、工地、工厂里吃得… · 2026/11/18 9:11:48

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/18 8:19:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/18 8:19:53

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/17 9:06:35

电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过
电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过

电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过 你是不是也这样?报名了电工证培训,交了钱,结果一到考试就懵, 怕考不过白交培训费 ?别慌,这是很多初次报考人员的真实写照。而最近, 河南省应急管理厅… · 2026/11/18 0:00:37

许昌电工证在哪复审 别踩坑怕考不过白交培训费
许昌电工证在哪复审 别踩坑怕考不过白交培训费

许昌电工证在哪复审 别踩坑怕考不过白交培训费 怕考不过白交培训费,这几乎是每个想考电工证的学员心中的痛。尤其是在许昌,电工证的报考和复审流程复杂,稍有不慎就可能被坑, 千万别踩坑… · 2026/11/18 0:00:37

老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相
老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相

老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相 实操考试心里没底怕挂科?老式电工证还能用吗?怎么报名又怕被坑?这些问题几乎每个准备考电工证的施工企业负责人心里都在打鼓。尤其是河南本地的中小施工企业,很多都在用老式电工证,但随… · 2026/11/18 0:00:37

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码