通过幂变换、保符号聚合与自适应特征保留实现大语言模型结构化剪枝

论文提出一种面向大语言模型结构化剪枝的改进方法，将自适应特征保留（AFR）扩展至结构化场景，并针对异构剪枝分数分布不匹配、优化方向符号丢失和异常值影响，引入幂变换、保符号分数聚合及基于百分位的异常值移除。在 Llama-3-8B、Vicuna-v1.5-13B 和 LLaVA-v1.5-13B 上，作者报告其精度接近非结构化剪枝，同时获得实际推理加速。