PixelCNN++: ピクセルCNNの改善に離散ロジスティック混合尤度およびその他の変更を用いる

ピクセルCNNは、最近提案された強力な生成モデルの一種であり、計算可能な尤度を有しています。本稿では、https://github.com/openai/pixel-cnn で公開しているピクセルCNNの実装について述べます。当該実装では、元のモデルの構造を簡素化し、性能を向上させるための数々の改良が施されています。1) ピクセルに対して離散ロジスティック混合尤度を使用しており、256ウェイのソフトマックスではなく、これにより学習が加速することを確認しています。2) R/G/Bサブピクセルではなく、全体的なピクセルに条件付けを行うことで、モデルの構造が単純化されます。3) 下サンプリングを使用して、複数の解像度での構造を効率的に捉えています。4) さらに最適化を加速するために、追加のショートカット接続を導入しています。5) ドロップアウトを使用してモデルを正則化しています。最後に、これらの改良が有用であることを示すために、CIFAR-10における最先端の対数尤度結果を提示します。