KV Cache失效与Flash存储救赎——如何让GPU利用率从30%飙升到95%
当你给GPT发一句"你好",模型并不只是处理"你好"这两个字。它把这句话转换成一组数学向量——分别对应Key和Value,合称KV。
这个过程叫注意力机制(Attention):模型用Query去"查询"所有的Key,计算出每个词与当前词的相关程度,然后加权聚合所有的Value。
当你在同一会话中继续说"适合出门吗",模型需要理解这句话,必须回顾第一轮的历史——"今天天气真好"。
没有KV Cache时:每次生成新回复,GPU必须把整个历史会话重新跑一遍。100轮对话,第100轮就要处理前99轮的所有tokens。这就是"重算"的根源。
有KV Cache时:第一轮处理"今天天气真好",把计算出的KV向量缓存起来。第二轮直接复用这个缓存,只处理"适合出门吗"这一个新token。理论上,这应该让第二轮快100倍。
但现实是:KV Cache会被驱逐(Evict)。
KV Cache存储在哪里?GPU显存(VRAM)。
一张H100有80GB显存。模型权重占用一部分,剩下的能存多少KV cache?
以Llama 3 70B为例:每个token的KV向量大约需要~1KB显存。80GB看起来能存8000万tokens——但别忘了,模型权重本身还要占用~140GB(量化后),80GB根本装不下。
实际场景中,GPU显存只够缓存几千到几万tokens。当对话历史超过这个长度,旧的KV Cache就被踢出显存,下次需要时——GPU不得不重新计算一遍。
"Run without any strategy to deal with it, and a GPU can sit as low as 30% utilization on new work."
— Alan McSeveney, WEKA
McSeveney给出了一个具体数字:GPU采购预算中,GPU本身占80%以上。
这意味着,一张利用率30%的H100,实际有效算力只发挥了不到三分之一。10万的GPU,有效利用的只有3万的部分——剩下的7万,在为历史对话"还债"。
这个问题在AI Agent场景下尤为突出。Agent需要:
每一步都依赖历史上下文,KV Cache被频繁驱逐,GPU不断重算。Agent越多,上下文越长,问题越严重。
如果你使用按token计费的云服务,这个问题更微妙:
"If you're paying a foundation model provider per token, the majority of the benefit of any caching on their side goes in their pocket, not yours."
— McSeveney
你的供应商可以在服务端缓存KV Cache(节省GPU算力),但省下的成本进了他们的财报,不是你的。
一个直觉的解法是:给服务器加DRAM,把KV Cache存到更大的主机内存里。
但DRAM容量有限(256GB~1TB),且价格昂贵。更关键的是,DRAM和GPU之间传输KV Cache依然要走PCIe——延迟依然存在,且容量天花板很快到来。
McSeveney的论断:NVMe Flash存储比扩展DRAM更划算。
| 指标 | DRAM | NVMe Flash |
|---|---|---|
| 容量 | 256GB~1TB/服务器 | 数十TB/服务器 |
| 成本/GB | ~$5/GB | ~$0.1/GB |
| 读取延迟 | ~100纳秒 | ~100微秒 |
| 随机访问 | 完美支持 | 部分支持 |
Flash的延迟比DRAM高1000倍,但容量是100倍,成本是1/50。对于KV Cache这种顺序读取场景(每次恢复会话时按顺序读取历史),Flash的延迟影响被大幅稀释。
关键技巧:如果系统能在毫秒级完成KV Cache的Swap,每个GPU可以同时服务4~5个用户,而不只是一个。
更激进的做法:不把KV Cache存在单个GPU上,而是存在一个中央存储集群。
WEKA的方案叫Augmented Memory Grid:
这意味着会话可以在任意GPU之间无缝恢复。McSeveney展示的数据:
DeepSeek在2026年的技术报告中详细描述了他们的KV Cache管理策略:
Nvidia在最新一代Vera Rubin架构中引入了CMX(Collaborative Memory eXtensions)上下文内存平台。这是硬件层面的解决方案:
Mooncake提出了KV Cache与计算分离的架构理念:生成请求的GPU不需要存储KV Cache——存储由专门的"缓存服务器"负责。这本质上是把KV Cache offload的思想工程化、系统化。
第一步:测量你的GPU真实利用率。
如果利用率长期低于60%,很可能存在KV Cache驱逐问题。
McSeveney给出了一个清醒的判断:
"Running some of your own infrastructure might not be your first thought. But it may become a necessity."
随着GPU供应收紧,大厂的GPU预留已经排到满。Google已通知客户:12月前没有预订的客户,不要指望按需容量。
如果你有持续的、大规模的AI推理需求,自建或长租GPU集群,配合KV Cache offload优化,可能是比纯按量付费更划算的选择。
GPU是AI系统中最贵的组件。提升GPU利用率,比换更好的模型,往往有更高的投入产出比。
KV Cache优化,是当前最被低估的杠杆之一。一个好的缓存策略,可以让同一套硬件服务4~7倍的用户,成本却不增加。
这不是一个花哨的前沿研究,这是今天就能做、做了就有效的基础设施工作。
如果你正在运营AI服务,先把利用率监控跑起来。你可能会惊讶地发现——那台"空转"的GPU,其实一直在默默重复劳动。
今日选题亮点: