面试官皱眉：“KV Cache为什么占显存？PagedAttention解决什么问题？”，我：“这题不会，问下一个吧”，面试官震惊。。。

但很多团队真正开始自部署后会马上撞上第二个问题模型权重明明已经放进GPU为什么并发几个长请求显存还是被迅速吃光面试官问“KV Cache为什么占显存PagedAttention和Prefix Cache分别解决什么问题”很多录友会回答“KV Cache保存历史TokenPagedAttention负责省显存Prefix Cache负责加速。”方向没错但还缺最关键的工程边界KV Cache到底按什么公式增长长上下文和高并发为什么会互相放大PagedAttention省掉的是碎片和预留不是有效KV数据Prefix Cache减少的是重复Prefill不能加速所有Decode显存真的不够时量化、卸载和分离式推理又分别在换什么。简要回答KV Cache保存每一层注意力中历史Token的Key和Value。Prefill一次性为输入建立缓存Decode每生成一个Token继续追加缓存避免每一步都重算全部历史。标准注意力下KV Cache大致与层数、KV头数、Head维度、序列长度、并发请求数和数据精度成正比。上下文翻倍单请求缓存接近翻倍并发翻倍总缓存也接近翻倍。连续批处理让请求按生成迭代动态进入和退出批次提高GPU利用率但同时驻留的请求越多KV Cache工作集越大最终并发上限经常由KV块数量决定。PagedAttention把KV Cache切成固定大小的块按需分配并通过块表寻址主要减少连续预留、外部碎片和尾部浪费它不会压缩每个有效Token的KV数据。Prefix Cache复用完全相同前缀对应的KV块跳过重复前缀的Prefill计算它对公共System Prompt、Few-shot和共享文档有效对不同前缀和后续Decode帮助有限。一句话PagedAttention解决“怎么装得更紧”Prefix Cache解决“哪些前缀不用重复算”量化和卸载才是在改变每份KV的大小或存放位置。详细回答为什么生成下一个Token还要保存前面的K和V自回归模型一次只生成一个新Token。生成第t个Token时新Token的Query需要和前面所有Token的Key做注意力计算再用注意力权重汇总对应的Value。如果不缓存模型每生成一步都要重新计算历史Token在每一层的Key和Value。序列越长重复计算越夸张。KV Cache做的事情很直接Prefill阶段处理完整输入并保存每一层的K和VDecode阶段只计算新Token的Q、K、V新Query直接读取历史KV再把新Token的K和V追加进去。所以KV Cache是典型的用显存换计算。没有它显存压力小一些但Decode会不断重算历史生成速度根本扛不住。一条请求的KV Cache到底有多大对常见的标准注意力、MHA或GQA模型可以先用下面的近似公式建立直觉单请求KV Cache字节数≈ 2 × 层数 × Token数 × KV头数 × Head维度 × 每元素字节数前面的2代表Key和Value两份张量。假设一个模型有32层、8个KV头、Head维度128KV使用BF16每个元素2字节每Token KV Cache 2 × 32 × 8 × 128 × 2 Byte 131072 Byte≈ 128 KiB那么8K Token约占1 GiB32K Token约占4 GiB128K Token约占16 GiB。这还只是一条请求。8条32K请求同时驻留理论KV数据就接近32 GiB。真实部署还要给模型权重、CUDA Graph、激活、中间工作区、通信缓冲和运行时预留显存。Tensor Parallel如何切分KV头、模型是否采用MQA、GQA、MLA或滑动窗口也会改变每张卡的实际占用所以公式用于容量初算最终仍要以引擎指标和压测为准。真正容易忽略的是模型权重是相对静态的KV Cache却是随请求实时增长的动态工作集。Prefill、Decode和连续批处理怎么把压力放大Prefill和Decode消耗显存的方式不一样。前文《Token、成本与延迟大模型应用的三个硬约束》已经拆过TTFT和TPOT这里把它们继续落到GPU显存上。长Prompt进入Prefill后会快速建立一大段KV Cache所以长上下文请求可能在刚入场时就申请大量KV块。Decode每轮只追加少量Token但请求迟迟不结束缓存会一轮一轮继续增长。现代推理引擎通常还会做连续批处理也叫Iteration-level或In-flight Batching每轮Decode后完成的请求退出新请求立即加入不必等整个固定Batch全部结束。Orca论文把这种思想称为迭代级调度。它提高了GPU利用率却也让KV池成为调度中心总KV Cache≈ 所有活跃请求已处理Token数对应的KV之和当空闲KV块不足时新请求只能排队部分引擎会抢占已有请求并在之后重算或恢复管理不当时就直接OOM。于是你会看到一个很典型的现象GPU计算单元还没有持续跑满服务却已经因为KV容量不足接不进更多请求。KV Cache容量放大链这张图回答的是KV Cache压力如何从单Token经过序列长度和活跃请求数逐层放大。Prefill让长输入一次占入大量缓存Decode持续追加连续批处理又让更多请求同时驻留最终把有限的GPU KV池推到排队、抢占或OOM。为什么传统连续分配会浪费大量显存请求的最终长度在开始时并不知道。如果每条请求都按最大长度预留一块连续显存短请求会留下大量未使用空间如果只按当前长度分配序列增长时又需要寻找更大的连续区域。请求不断进入和退出后空闲显存可能散落在多个小洞里总量看着够却找不到合适的连续空间。这里有三类浪费过度预留按最大长度申请实际只用了很短一段内部碎片分配单元内部没有填满外部碎片空闲空间被切散无法满足连续申请。PagedAttention论文借鉴操作系统分页把一条序列的KV Cache切成固定Token数的逻辑块再通过块表映射到不连续的物理显存块。这样做之后序列增长时按需增加块不用一开始按最大长度预留不同请求释放的物理块可以立刻回到公共池一条逻辑连续的序列可以落在不连续的物理块上多个序列的公共KV块还可以通过引用计数共享。PagedAttention分页映射这张图回答的是PagedAttention为什么能缓解显存碎片。上方的连续分配路径被最大长度预留和零散空洞卡住下方通过逻辑块表把序列映射到公共物理块池只在最后一个未填满的块留下有限尾部浪费。但别把它说成“PagedAttention把KV Cache压缩了”。**对同一个模型、同一批有效Token和同一精度K和V本身没有少。**PagedAttention优化的是分配、回收、共享和寻址让更多有效KV能装进同一块GPU而不是让每个Token凭空变小。它也不是完全没有代价。分页需要块表和专门的注意力访问路径块大小还会影响尾部浪费、调度粒度和内核效率。现代引擎会把这些细节封装掉但做性能对比时仍要看具体版本、Attention Backend和工作负载。Prefix Cache为什么不是另一个PagedAttentionPagedAttention关心的是“KV块放在哪里”。Prefix Cache关心的是“这个KV块以前是不是已经算过”。假设大量请求都包含同一个长System Prompt、相同Few-shot示例或同一份文档公共前缀 用户问题A公共前缀 用户问题B公共前缀 用户问题C如果每条请求都从头Prefill公共前缀会被重复计算多次。Prefix Cache把已经计算完成的前缀KV块保留下来新请求命中相同前缀后直接复用这些块只计算后面不同的部分。vLLM的Automatic Prefix Caching设计会结合父块哈希、当前块Token和LoRA、多模态输入等额外信息标识缓存块并且只缓存完整块。多租户环境还要用Cache Salt隔离复用范围避免不同信任域通过延迟差异推测缓存内容。Prefix Cache主要带来两个收益减少重复Prefill计算降低命中请求的TTFT相同前缀可以共享物理KV块避免每条请求都复制一份。它的边界同样明确Token序列必须一致语义相近但Token不同不能命中动态时间戳、随机ID放在Prompt前面会让后面的大段内容一起失去命中它不能减少用户问题和输出部分的Decode计算热前缀需要占用缓存容量低价值缓存最终仍会被淘汰命中率高不等于吞吐一定高Decode或显存带宽可能已经成为新瓶颈。所以工程上常把稳定内容放在Prompt前部把每次变化的字段尽量后移。但不能为了命中率打乱指令优先级、权限边界和业务语义。显存还是不够量化、卸载和分离式推理怎么选这些方案解决的不是同一个问题。方案主要解决什么典型收益主要代价PagedAttention预留和碎片浪费提高KV池有效利用率和可服务并发块管理与内核路径更复杂Prefix Cache公共前缀重复计算和复制降低命中请求TTFT复用KV块依赖重复前缀占用缓存容量FP8 KV Cache每个Token的KV字节数过高相比BF16/FP16原始数据通常接近减半需要硬件和内核支持必须做质量校准CPU、NVMe或远端卸载GPU工作集装不下用更大、更便宜的存储扩展容量数据传输增加延迟受PCIe或网络带宽约束Prefill/Decode分离两阶段资源特征和延迟目标互相干扰分别调优TTFT与ITL控制尾部ITL需要传输KV架构和调度更复杂vLLM的量化KV文档支持FP8 KV Cache并建议通过校准获得更可靠的缩放因子。精度从16位降到8位KV主体数据的理论占用接近减半但真实节省还要考虑Scale、对齐、临时缓冲和具体内核。TensorRT-LLM的KV Cache Connector把CPU内存、NVMe和网络存储作为更低层级的缓存空间也支持在不同实例间传输KV。容量变大了但一次Cache Miss可能触发昂贵的数据搬运所以卸载更适合有明显冷热分层、复用价值高或GPU容量特别紧张的负载。Prefill通常更偏计算密集Decode更受显存带宽和逐Token调度影响。将两者拆到不同实例可以分别扩容和调优。不过vLLM的分离式Prefill文档明确提醒它的主要目标是分别调优TTFT和ITL、控制尾部ITL并不直接保证吞吐提升。KV Cache优化决策路径这张图回答的是看到KV池告警后应该先判断哪种浪费。碎片走分页重复前缀走Prefix Cache单Token太大再看量化冷热工作集超过GPU才考虑卸载只有Prefill和Decode互相干扰时才进入分离式推理。项目里应该按什么顺序优化第一步不是立刻打开所有开关而是把容量账算清楚。至少记录模型权重和非KV显存占用KV Cache总块数、使用率和可用块数活跃请求数、排队请求数和每条序列长度Prefix Cache命中Token数和命中率抢占、重算、Swap或Cache Miss次数TTFT、TPOT或ITL、P95/P99和SLO内Goodput。这些指标怎么设计压测负载可以继续对照《部署、推理、压测核心指标》。然后按下面的顺序处理先限制失控输入校验最大上下文、最大输出和单租户并发避免一个请求把整池KV吃掉先减少管理浪费启用成熟的分页KV管理和连续批处理用真实长度分布压测调度参数再提高复用整理稳定前缀观察命中Token而不是只看请求命中数同时做好租户隔离再缩小每Token占用评估FP8 KV Cache或选择采用GQA、MQA的模型必须回归长上下文质量最后扩大存储层级或拆服务只有GPU容量、TTFT和ITL的瓶颈证据足够明确才引入卸载或Prefill/Decode分离。优化成功不能只看“没有OOM”。如果Prefix Cache让TTFT下降却把大量低复用块留在池里导致高峰期抢占增加或者FP8让并发上去了却让长文档问答准确率下降这都不算成功。最终要比较的是质量门槛内SLO达标请求的Goodput和每个成功任务成本有没有改善。知识拓展Q1KV Cache、Prefix Cache和Prompt Cache是一回事吗KV Cache是模型推理过程中的K/V张量。Prefix Cache是一种跨请求复用KV Cache的机制。云API里的Prompt Cache是产品层能力底层可能复用类似结果也可能有不同的持久化、计费和淘汰实现不能直接等同于某个引擎的Prefix Cache。Q2开启PagedAttention后显存占用为什么看起来还是很高很多引擎会预先建立较大的KV块池把空闲显存尽量留给后续请求。监控里的“已保留显存”不等于“都被有效Token占用”要同时看KV块使用率、可用块数和活跃Token数。Q3Prefix Cache命中后为什么TPOT没有明显下降Prefix Cache跳过的是共享前缀的Prefill所以最直接改善的是TTFT。TPOT主要取决于后续Decode、Batch大小、显存带宽和调度干扰不能期待前缀命中把每个输出Token都加速。Q4KV Cache量化一定不会影响效果吗不能这样承诺。不同模型、层类型和任务对K/V误差的敏感度不同。要用真实长上下文集比较准确率、召回、困惑度或业务指标还要观察量化与反量化是否让TPOT变差。Q5模型支持128K上下文就能同时跑很多条128K请求吗上下文窗口说明单条请求在模型和服务配置上允许多长不代表GPU能高并发承载这个长度。容量规划要把单请求KV大小乘上活跃请求数再扣除权重和运行时显存。Q6面试里怎么回答“KV Cache怎么优化”先用公式说明容量由层数、KV头、维度、长度、并发和精度决定再区分分页、复用、量化、卸载和分离式推理各自解决的瓶颈最后落到监控指标和压测证据。不要只报一串框架参数。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】