量子位一水
KV Cache 压缩 99%，港科大、CMU 与岩山科技发布开源模型方案
原标题:KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
开源88
该方案通过极大幅度削减 KV Cache 占用，使单张显卡在处理长序列任务时能够同时运行 512 路推理请求。吞吐量性能较基准提升 6 倍，为大语言模型在高并发、长上下文场景下的部署提供了新的优化路径。
为什么值得读
在显存瓶颈制约长上下文推理的当下，该方法提供的 99% KV Cache 压缩率与 6 倍吞吐提升具有极高的工程参考价值。
标签
LLMKV CacheInferenceOptimizationOpen Source