KronQ针对GPTQ等二阶后训练量化方法只利用输入激活统计、默认输出通道等贡献的问题，引入梯度协方差，并在输入与输出两侧执行非相干化处理，同时用梯度和激活Hessian迹进行混合精度分配。论文称，在LLaMA-3-70B的2-bit权重量化中，KronQ将WikiText-2困惑度降至7.93，而GPTQ与GPTAQ超过2000或出现退化。
最近 24 小时暂无可用热度快照。