ARCHead：基于激活度量残差校正的大语言模型输出头压缩

ARCHead针对权重量化常遗漏的LM输出头，将量化低秩核心、分组INT4残差与基于激活度量拟合的低秩校正结合，无需保留稠密BF16头。论文报告其在Qwen3-8B-Base上仅占BF16头存储的25.6%，相对困惑度为1.007；替换AWQ或bitsandbytes遗留的BF16头后，交叉熵仅增加0.006至0.007。