1ヶ月前

MaCow: マスク付き畳み込み生成フロー

Xuezhe Ma; Xiang Kong; Shanghang Zhang; Eduard Hovy
MaCow: マスク付き畳み込み生成フロー
要約

フロー型生成モデルは、正確な対数尤度計算と潜在変数推論の両方が扱いやすく、学習とサンプリングの効率性も高いという概念的な魅力から、多くの印象的な実証的成功を収め、多数の先進的なバリエーションや理論的調査が行われてきました。しかし、これらの計算効率性にもかかわらず、フロー型生成モデルの密度推定性能は最先端の自己回帰モデルに比べて著しく劣っています。本研究では、マスク付き畳み込み生成フロー(MaCow)と呼ばれる単純かつ効果的な生成フローのアーキテクチャを導入します。小規模なカーネル内の局所接続性を制限することで、MaCowは高速で安定した学習と効率的なサンプリングを享受しながら、標準的な画像ベンチマークでの密度推定においてGlowよりも大幅な改善を達成し、自己回帰モデルとの性能差を大幅に縮めています。