離散フロー：離散データの可逆生成モデル

正規化フローは、高次元連続分布のモデリングにおいて重要な進歩をもたらしましたが、離散分布への適用可能性については未だ不明確なままであります。本論文では、フローが実際には離散事象に拡張可能であることを示します。これは、対数行列式ヤコビアン計算を必要としない単純な変数変換公式によって達成されます。離散フローには多くの応用例があります。私たちは2つのフローアーキテクチャを検討します：双方向性を可能にする離散自己回帰フロー（例えば、正確な言語モデルにおいてテキスト内のトークンが左から右および右から左のコンテキストに依存するようにする）；RealNVPのように効率的な非自己回帰生成を可能にする離散二部フローです。経験的に、私たちは離散自己回帰フローが合成された離散分布、加算タスク、ポッツモデルにおいて自己回帰基準モデルを上回ることを見出しました；また、離散二部フローはPenn Tree Bankやtext8の文字レベル言語モデリングにおいて自己回帰基準モデルと競合する性能を得られることが確認されました。