17日前

スライスされた反復型ノーマライジングフロー

Biwei Dai, Uros Seljak
スライスされた反復型ノーマライジングフロー
要約

我々は、任意の確率分布関数(PDF)を目的のPDFに変換できる反復的(貪欲的)深層学習(DL)アルゴリズムを開発した。このモデルは、一連の1次元スライスに対する反復的最適輸送に基づくものであり、各スライスにおいて周辺PDFを目的の分布に一致させる。各反復において、スライスの軸は、Wasserstein距離を用いてPDFの差異を最大化するように選定されるため、高次元へのスケーラビリティが良好である。本アルゴリズムの特別なケースとして、データ空間から潜在空間へ(GIS)およびその逆(SIG)の変換を行う2種類のスライス型反復正規化フロー(SINF)モデルを提案する。実験により、SIGがGANのベンチマークと同等の高品質な画像データのサンプリングを可能にすることを示した。一方、GISは密度推定タスクにおいて、密度学習を用いた従来の正規化フロー(NF)と比較して競争力のある性能を発揮し、さらに訓練セットが小さい場合でも安定性が高く、高速であり、より高い$p(x)$を達成できることがわかった。SINFアプローチは、ミニバッチ処理、確率的勾配降下法、深層ネットワークにおける勾配の逆伝播といった従来のDLの概念を一切用いないため、現在の深層学習のパラダイムから大きく逸脱している。