Guangting Zheng Qinyu Zhao Tao Yang Fei Xiao Zhijie Lin Jie Wu Jiajun Deng Yanyong Zhang Rui Zhu

要約

生データの分布の明示的尤度を直接モデル化することは、機械学習分野における重要な課題であり、大規模言語モデルにおける自己回帰的モデリングによってスケーラビリティの成功が達成されている。しかし、視覚的ピクセルデータに対して連続的な自己回帰モデリングを適用する際には、極めて長いシーケンスと高次元空間の問題に直面する。本論文では、正規化フロー（Normalizing Flows, NF）と自己回帰（Autoregressive, AR）モデルを統合する、生のピクセルから直接高品質な画像合成と扱いやすい尤度推定を実現するエンドツーエンドの生成フレームワーク「FARMER」を提案する。FARMERは、画像を潜在シーケンスに変換する可逆的自己回帰フローを用い、その潜在変数の分布は自己回帰モデルによって implicitly にモデル化される。ピクセルレベルのモデリングにおける冗長性と複雑さを軽減するため、我々は自己教師付き次元削減スキームを提案し、NFの潜在チャネルを情報量の多いグループと冗長なグループに分割することで、より効果的かつ効率的なARモデリングを可能にする。さらに、推論速度を著しく向上させる1ステップの蒸留スキームと、リサンプリングに基づく分類器フリー・ガイド付きアルゴリズムを設計し、画像生成品質の向上を図った。広範な実験により、FARMERが既存のピクセルベースの生成モデルと比較して競争力ある性能を発揮するとともに、正確な尤度値の算出とスケーラブルな学習を実現できることを示した。