条件付き画像生成にPixelCNNデコーダーを使用する

本研究は、PixelCNNアーキテクチャに基づく新しい画像密度モデルを用いた条件付き画像生成について探求しています。このモデルは、記述的なラベルやタグ、または他のネットワークによって生成された潜在埋め込みなどの任意のベクトルに条件付けすることができます。ImageNetデータベースのクラスラベルに条件付けられた場合、このモデルは異なる動物、物体、風景、構造物を表現する多様で現実的なシーンを生成することができます。未見の顔の単一画像から畳み込みネットワークが生成した埋め込みに条件付けられた場合、同じ人物のさまざまな表情、姿勢、照明条件を持つ新しい肖像画を生成します。また、条件付きPixelCNNが画像オートエンコーダーの強力なデコーダーとして機能することも示しています。提案されたモデルにおけるゲーテッド畳み込み層は、計算コストを大幅に削減しつつ、PixelCNNの対数尤度を改善し、ImageNetにおいてPixelRNNと同等の最先端性能を達成しています。