要約
本稿では、ベイズ流ネットワーク（Bayesian Flow Networks, BFNs）と呼ばれる新しい生成モデルのクラスを紹介する。BFNsは、ノイズを含むデータサンプルを踏まえてベイズ推論により一連の独立分布のパラメータを更新し、その結果をニューラルネットワークの入力として用いる。このネットワークは、相互依存性を持つ第二の分布を出力する。単純な事前分布から出発し、2つの分布を反復的に更新することで、拡散モデルの逆過程に類似した生成プロセスが得られる。ただし、このモデルは前向き過程（forward process）を必要としないため、概念的により簡潔である。連続値、離散化された連続値、および離散データに対して、それぞれ連続時間および離散時間の損失関数を導出し、サンプル生成手順も提示している。特に、離散データに対するネットワーク入力は確率単体（probability simplex）上に存在するため、自然に微分可能であり、言語モデルなど離散領域における勾配ベースのサンプルガイドや、少数ステップでの生成が可能になる。損失関数はデータ圧縮を直接最適化しており、ネットワークアーキテクチャに制約を課さない。実験結果として、動的二値化されたMNISTおよびCIFAR-10画像モデリングにおいて、競合する対数尤度を達成しており、text8の文字レベル言語モデリングタスクでは、既知のすべての離散拡散モデルを上回る性能を示した。