2ヶ月前

MintNet: マスク付き畳み込みを使用した可逆ニューラルネットワークの構築

Yang Song; Chenlin Meng; Stefano Ermon
MintNet: マスク付き畳み込みを使用した可逆ニューラルネットワークの構築
要約

私たちは、単純な構成要素と新しい合成規則を組み合わせることで、逆可能ニューラルネットワークの構築方法を提案します。これにより、ResNetsに類似したものを含む豊富な逆可能アーキテクチャが得られます。逆変換は、並列化可能で実際には非常に高速な局所収束型反復手続きによって達成されます。さらに、ヤコビ行列の行列式は解析的にかつ効率的に計算でき、フローモデルとしての生成的な使用が可能になります。柔軟性を示すために、私たちの逆可能ニューラルネットワークがMNISTとCIFAR-10分類においてResNetsと競争力があることを示します。生成モデルとして訓練された場合、私たちの逆可能ネットワークはMNIST、CIFAR-10およびImageNet 32x32において競争力のある尤度を達成し、それぞれ次元あたりのビット数が0.98、3.32および4.06となっています。