FFJORD: スケーラブルな可逆生成モデルのための自由形式の連続力学

有望な生成モデルのクラスは、単純な分布から複雑な分布へと、可逆ニューラルネットワークを介して点をマッピングします。これらのモデルの尤度に基づく学習には、ヤコビ行列式の安価な計算を可能にするために、そのアーキテクチャに制限を設ける必要があります。一方、変換が常微分方程式によって指定される場合、ヤコビ行列のトレースを使用することができます。本論文では、ハッチンソンのトレース推定器を使用して、対数密度のスケーラブルで偏りのない推定値を求めます。その結果、偏りのない密度推定と一回通行サンプリングを備えた連続時間型可逆生成モデルが得られ、同時にニューラルネットワークのアーキテクチャに制限を設けずに使用できます。我々は高次元密度推定、画像生成、変分推論においてこの手法を実証し、効率的なサンプリングを持つ正確な尤度方法の中で最先端の成果を得ました。