17日前

エネルギーに基づくモデルを用いた暗黙的生成とモデリング

{Yilun Du, Igor Mordatch}
エネルギーに基づくモデルを用いた暗黙的生成とモデリング
要約

エネルギーに基づくモデル(EBM)は、尤度モデリングにおける一般性と単純さから注目されており、従来は訓練が困難であった。本研究では、連続的ニューラルネットワーク上でMCMCに基づくEBMの訓練をスケーラブルにするための手法を提示し、ImageNet32x32、ImageNet128x128、CIFAR-10、およびロボットハンドの軌道といった高次元データ領域においてその有効性を示した。これらの実験では、他の尤度モデルと比較して優れたサンプルを生成し、最新のGANアプローチに近い性能を達成しつつ、データのすべてのモードをカバーすることに成功した。さらに、暗黙的生成の特徴である合成性(compositionality)や破損画像の復元・補完(inpainting)といったユニークな能力を強調した。最後に、EBMが多様なタスクにおいて有用なモデルであることを示し、分布外分類、敵対的ロバスト分類、最先端の継続的オンラインクラス学習、および一貫性のある長期予測軌道のロールアウトにおいて、いずれも最先端の性能を達成した。