2ヶ月前

並列マルチスケール自己回帰密度推定

Scott Reed; Aäron van den Oord; Nal Kalchbrenner; Sergio Gómez Colmenarejo; Ziyu Wang; Dan Belov; Nando de Freitas
並列マルチスケール自己回帰密度推定
要約

ピクセルCNNは、自然画像の密度推定において最先端の結果を達成しています。訓練は高速である一方で、推論は高コストであり、各ピクセルごとにネットワーク評価が必要となります(Nピクセルに対してO(N))。この処理を高速化するために活性化をキャッシュする方法がありますが、それでも各ピクセルを順次生成する必要があります。本研究では、特定のピクセルグループを条件付き独立としてモデル化することでより効率的な推論を可能にする並列化されたピクセルCNNを提案します。新しいピクセルCNNモデルは競合する密度推定性能を持ちつつ、オーダー数倍の高速化(O(N)からO(log N)へのサンプリング)を実現し、512x512画像の実用的な生成を可能にしました。当該モデルはクラス条件付き画像生成、テキストから画像への合成、アクション条件付き動画生成において評価され、効率的なサンプリングが可能な非ピクセル自己回帰型密度モデルの中で最良の結果を達成していることが示されました。