一阶可预测，但成对脆弱：训练Transformer中的局部任务适应

论文在9个参数规模82M至7B的Transformer上，用预注册测试框架评估任务算术、顺序微调、激活引导和一阶随机搜索依赖的8项局部性质。结果显示单方向损失变化在10^-2测试尺度内近似一阶可预测，但任务更新的组合、顺序敏感性、梯度子空间稳定性及权重到表示空间的对应关系明显更脆弱。