WitCert 为 KV-cache 量化提供逐层、逐头、逐步的注意力总变差上界,并接入 SGLang 进行在线观测与门控。论文给出对黑盒量化器安全的确定性证书,以及面向带减法抖动 INT8 的概率证书;实验中,门控将硬 RULER 任务上的 raw-cast FP8 从 22.8 恢复至 79.7,并使 INT8 在同等内存下服务 1.88 倍 KV token。
最近 24 小时暂无可用热度快照。