自监督预训练中相关样本汇聚的统计理论分析

自监督学习习惯将同一张图片掩码或加噪后的多种增强样本混在一起训练，而统计理论过去常因样本间的相关性选择刻意规避。该研究证明，直接汇集相关增强样本的估计误差绝不会差于切分出的独立子集，甚至能在特定掩码场景下加快收敛。经验中行之有效的大规模样本增强，在此补上了一处数学注脚。