要約
変分自己符号化器（Variational Autoencoders, VAEs）は、多くの分野に応用可能な強力な尤度に基づく生成モデルの一つである。しかし、事前分布からのサンプリングにおいて何ら調整を行わない場合、特に高品質な画像の生成において困難を抱えている。VAEの生成品質の低さの一因として、「事前分布の穴（prior hole）問題」が挙げられる。これは、事前分布が集約近似事後分布（aggregate approximate posterior）と一致しないため、潜在空間において事前分布の密度が高い領域が、何らエンコードされた画像に対応していない状態が生じることである。このような領域からサンプリングされた点は、復号時に劣化した画像へと変換される。この問題に対処するために、基本的な事前分布と再重み付け因子の積によって定義されるエネルギーに基づく事前分布を提案する。この再重み付け因子は、基本的な事前分布を集約事後分布に近づけるように設計されている。再重み付け因子はノイズ対比推定（Noise Contrastive Estimation, NCE）によって学習され、さらに複数の潜在変数グループを持つ階層的VAEへと一般化されている。実験の結果、提案手法であるノイズ対比事前分布は、MNIST、CIFAR-10、CelebA 64、CelebA HQ 256の各データセットにおいて、最先端のVAEの生成性能を大幅に向上させることを確認した。本手法はシンプルであり、多様なVAEに適用可能で、その事前分布の表現力の向上に寄与する。