从中间谱子空间解析视觉语言模型的对抗脆弱性

本文研究视觉语言模型中间线性变换的谱结构与对抗脆弱性的关系，提出白盒谱子空间引导攻击SSGRA，使中间表示对齐于最小奇异值对应的右奇异向量子空间。作者称实验中其攻击效果优于现有基线，并据此提供VLM脆弱性的谱解释。