対照学習はデータ生成プロセスを逆転する

最近、対照学習（contrastive learning）は自己教師付き学習において著しい成果を上げている。しかし、これまでのところ、学習された表現がなぜ多様な下流タスクに如此にして効果的に一般化するのかは、依然として十分に理解されていない。本研究では、InfoNCE族に属する目的関数を用いて訓練された前向き型モデル（feedforward models）が、観測データの背後にある生成モデル（generative model）を暗黙的に逆転（implicit inversion）するよう学習することを理論的に証明する。証明には生成モデルに関する特定の統計的仮定を用いているが、実験的にも、これらの仮定が著しく破られても本研究の結果が依然として成り立つことを確認した。本理論は、対照学習、生成モデル学習、非線形独立成分分析（nonlinear independent component analysis）の間に本質的な関係があることを示唆し、学習された表現の理解を深めるだけでなく、より効果的な対照学習損失関数を導くための理論的基盤を提供する。