残差フローによる可逆生成モデル링の構築

フロー型生成モデルは、逆変換を用いて確率分布をパラメータ化し、最大尤度法によって訓練することができます。逆残差ネットワークは、厳密なアーキテクチャの制約ではなくリプシッツ条件を満たすことで逆変換性を確保する柔軟な変換の家族を提供します。しかし、従来の研究では密度推定のために逆残差ネットワークを訓練する際、ネットワークの表現力が高まるにつれて偏りが増加する偏った対数密度推定に依存していました。私たちは「ロシアンルーレット」推定量を使用して、計算可能な無偏の対数密度推定を与え、訓練中に必要なメモリ量を減らすために勾配の代替無限級数を使用しました。さらに、導関数の飽和を避ける活性化関数の使用とリプシッツ条件を誘導混合ノルムに一般化することにより、逆残差ブロックを改善しました。この結果得られた手法である「Residual Flows（残差フロー）」は、フロー型モデルの中でも密度推定において最先端の性能を達成しており、結合生成および判別モデリングにおいてカップリングブロックを使用するネットワークよりも優れた性能を示しています。