VentureBeat AI Impact Series — 2026年10月20日

GPU算力黑洞:60%计算资源正在被LLM的"上下文重算"悄悄吞噬

KV Cache失效与Flash存储救赎——如何让GPU利用率从30%飙升到95%

GPU LLM推理 KV Cache 基础设施 AI工程
想象你花10万块买了张英伟达H100,部署好模型,兴冲冲上线。结果监控面板一打开——GPU利用率:31%。剩下的69%在干什么?重算。这是WEKA Field CTO Alan McSeveney在VentureBeat AI Impact系列活动中分享的真实案例。今天我们就来拆解这个问题。

一、LLM推理的隐形成本:KV Cache与多轮对话

1.1 单次推理发生了什么

当你给GPT发一句"你好",模型并不只是处理"你好"这两个字。它把这句话转换成一组数学向量——分别对应Key和Value,合称KV。

这个过程叫注意力机制(Attention):模型用Query去"查询"所有的Key,计算出每个词与当前词的相关程度,然后加权聚合所有的Value。

输入: "今天天气真好" ↓ Tokenize [今天, 天气, 真好] ↓ Embedding + Attention Query · Key^T → Attention Score → 加权Value → 输出

1.2 多轮对话的KV问题

当你在同一会话中继续说"适合出门吗",模型需要理解这句话,必须回顾第一轮的历史——"今天天气真好"。

没有KV Cache时:每次生成新回复,GPU必须把整个历史会话重新跑一遍。100轮对话,第100轮就要处理前99轮的所有tokens。这就是"重算"的根源。

有KV Cache时:第一轮处理"今天天气真好",把计算出的KV向量缓存起来。第二轮直接复用这个缓存,只处理"适合出门吗"这一个新token。理论上,这应该让第二轮快100倍。

但现实是:KV Cache会被驱逐(Evict)。

1.3 GPU内存的物理限制

KV Cache存储在哪里?GPU显存(VRAM)。

一张H100有80GB显存。模型权重占用一部分,剩下的能存多少KV cache?

以Llama 3 70B为例:每个token的KV向量大约需要~1KB显存。80GB看起来能存8000万tokens——但别忘了,模型权重本身还要占用~140GB(量化后),80GB根本装不下。

实际场景中,GPU显存只够缓存几千到几万tokens。当对话历史超过这个长度,旧的KV Cache就被踢出显存,下次需要时——GPU不得不重新计算一遍。

"Run without any strategy to deal with it, and a GPU can sit as low as 30% utilization on new work."

— Alan McSeveney, WEKA

二、为什么这问题比想象中更严重

2.1 成本放大效应

McSeveney给出了一个具体数字:GPU采购预算中,GPU本身占80%以上。

这意味着,一张利用率30%的H100,实际有效算力只发挥了不到三分之一。10万的GPU,有效利用的只有3万的部分——剩下的7万,在为历史对话"还债"。

2.2 多轮Agent场景是重灾区

这个问题在AI Agent场景下尤为突出。Agent需要:

每一步都依赖历史上下文,KV Cache被频繁驱逐,GPU不断重算。Agent越多,上下文越长,问题越严重。

2.3 云计算的隐藏陷阱

如果你使用按token计费的云服务,这个问题更微妙:

"If you're paying a foundation model provider per token, the majority of the benefit of any caching on their side goes in their pocket, not yours."

— McSeveney

你的供应商可以在服务端缓存KV Cache(节省GPU算力),但省下的成本进了他们的财报,不是你的。

三、KV Cache offload:把缓存放到更聪明的地方

3.1 DRAM为什么不解决问题

一个直觉的解法是:给服务器加DRAM,把KV Cache存到更大的主机内存里。

但DRAM容量有限(256GB~1TB),且价格昂贵。更关键的是,DRAM和GPU之间传输KV Cache依然要走PCIe——延迟依然存在,且容量天花板很快到来。

3.2 NVMe Flash:性价比更高的方案

McSeveney的论断:NVMe Flash存储比扩展DRAM更划算。

指标 DRAM NVMe Flash
容量 256GB~1TB/服务器 数十TB/服务器
成本/GB ~$5/GB ~$0.1/GB
读取延迟 ~100纳秒 ~100微秒
随机访问 完美支持 部分支持

Flash的延迟比DRAM高1000倍,但容量是100倍,成本是1/50。对于KV Cache这种顺序读取场景(每次恢复会话时按顺序读取历史),Flash的延迟影响被大幅稀释。

关键技巧:如果系统能在毫秒级完成KV Cache的Swap,每个GPU可以同时服务4~5个用户,而不只是一个。

3.3 跨服务器分布式KV Cache

更激进的做法:不把KV Cache存在单个GPU上,而是存在一个中央存储集群。

WEKA的方案叫Augmented Memory Grid:

这意味着会话可以在任意GPU之间无缝恢复。McSeveney展示的数据:

四、行业军备竞赛:谁在做KV Cache优化

4.1 DeepSeek的方案

DeepSeek在2026年的技术报告中详细描述了他们的KV Cache管理策略:

4.2 Nvidia Vera Rubin与CMX

Nvidia在最新一代Vera Rubin架构中引入了CMX(Collaborative Memory eXtensions)上下文内存平台。这是硬件层面的解决方案:

4.3 Mooncake的分离架构

Mooncake提出了KV Cache与计算分离的架构理念:生成请求的GPU不需要存储KV Cache——存储由专门的"缓存服务器"负责。这本质上是把KV Cache offload的思想工程化、系统化。

五、给AI团队的建议:现在能做什么

5.1 立即可做的诊断

第一步:测量你的GPU真实利用率。

# 使用nvidia-smi监控 watch -n 1 nvidia-smi # 或者用DCGM精确测量 dcgmi dmon -s u -d 1000

如果利用率长期低于60%,很可能存在KV Cache驱逐问题。

5.2 中期优化路径

5.3 长期:考虑自建还是租GPU

McSeveney给出了一个清醒的判断:

"Running some of your own infrastructure might not be your first thought. But it may become a necessity."

随着GPU供应收紧,大厂的GPU预留已经排到满。Google已通知客户:12月前没有预订的客户,不要指望按需容量。

如果你有持续的、大规模的AI推理需求,自建或长租GPU集群,配合KV Cache offload优化,可能是比纯按量付费更划算的选择。

六、结语:被忽视的10倍杠杆

GPU是AI系统中最贵的组件。提升GPU利用率,比换更好的模型,往往有更高的投入产出比。

KV Cache优化,是当前最被低估的杠杆之一。一个好的缓存策略,可以让同一套硬件服务4~7倍的用户,成本却不增加。

这不是一个花哨的前沿研究,这是今天就能做、做了就有效的基础设施工作。

如果你正在运营AI服务,先把利用率监控跑起来。你可能会惊讶地发现——那台"空转"的GPU,其实一直在默默重复劳动。

今日选题亮点: