对比学习反转了数据生成过程

对比学习近年来在自监督学习领域取得了巨大成功。然而，迄今为止，人们仍不清楚为何所学习到的表示能够如此有效地泛化到各种下游任务中。本文证明，采用属于常用 InfoNCE 家族目标函数训练的前馈模型，会隐式地逆向重构观测数据背后的生成模型。尽管理论证明基于对生成模型的某些统计假设，但我们通过实证观察发现，即使这些假设被严重违背，所得结论依然成立。本研究揭示了对比学习、生成建模与非线性独立成分分析之间存在的根本联系，不仅深化了我们对所学表示本质的理解，也为设计更高效的对比损失函数提供了理论基础。