基于数据增强的自监督学习可严格分离内容与风格

自监督表示学习在多个领域已展现出显著的成功。一种常见的做法是通过人工设计的数据增强变换来实现，这些变换旨在保持数据语义不变。本文从理论角度探究该方法在实践中取得成功的原因。我们将增强过程建模为一个隐变量模型，假设隐表示可被划分为两个部分：内容成分（content component），其在数据增强下保持不变；风格成分（style component），允许随增强而变化。与以往关于解耦表示和独立成分分析的研究不同，本文允许隐空间中存在非平凡的统计依赖性和因果依赖关系。我们基于观测数据的成对视图，研究隐表示的可识别性，并证明了在生成式与判别式两种设定下，能够将不变内容部分识别至一个可逆映射的等价类。数值模拟结果表明，即使在隐变量存在依赖关系的情况下，实验结果仍与理论预测高度一致。最后，我们提出了 Causal3DIdent 数据集——一个高维、视觉复杂的图像数据集，具有丰富的因果依赖结构，用于研究实际应用中数据增强策略的影响。