HyperAIHyperAI

Command Palette

Search for a command to run...

対照学習はデータ生成プロセスを逆転する

Roland S. Zimmermann Yash Sharma Steffen Schneider Matthias Bethge Wieland Brendel

概要

最近、対照学習(contrastive learning)は自己教師付き学習において著しい成果を上げている。しかし、これまでのところ、学習された表現がなぜ多様な下流タスクに如此にして効果的に一般化するのかは、依然として十分に理解されていない。本研究では、InfoNCE族に属する目的関数を用いて訓練された前向き型モデル(feedforward models)が、観測データの背後にある生成モデル(generative model)を暗黙的に逆転(implicit inversion)するよう学習することを理論的に証明する。証明には生成モデルに関する特定の統計的仮定を用いているが、実験的にも、これらの仮定が著しく破られても本研究の結果が依然として成り立つことを確認した。本理論は、対照学習、生成モデル学習、非線形独立成分分析(nonlinear independent component analysis)の間に本質的な関係があることを示唆し、学習された表現の理解を深めるだけでなく、より効果的な対照学習損失関数を導くための理論的基盤を提供する。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
対照学習はデータ生成プロセスを逆転する | 記事 | HyperAI超神経