HyperAIHyperAI

Command Palette

Search for a command to run...

ベイジアンフローネットワーク

Alex Graves Rupesh Kumar Srivastava Timothy Atkinson Faustino Gomez

概要

本稿では、ベイズ流ネットワーク(Bayesian Flow Networks, BFNs)と呼ばれる新しい生成モデルのクラスを紹介する。BFNsは、ノイズを含むデータサンプルを踏まえてベイズ推論により一連の独立分布のパラメータを更新し、その結果をニューラルネットワークの入力として用いる。このネットワークは、相互依存性を持つ第二の分布を出力する。単純な事前分布から出発し、2つの分布を反復的に更新することで、拡散モデルの逆過程に類似した生成プロセスが得られる。ただし、このモデルは前向き過程(forward process)を必要としないため、概念的により簡潔である。連続値、離散化された連続値、および離散データに対して、それぞれ連続時間および離散時間の損失関数を導出し、サンプル生成手順も提示している。特に、離散データに対するネットワーク入力は確率単体(probability simplex)上に存在するため、自然に微分可能であり、言語モデルなど離散領域における勾配ベースのサンプルガイドや、少数ステップでの生成が可能になる。損失関数はデータ圧縮を直接最適化しており、ネットワークアーキテクチャに制約を課さない。実験結果として、動的二値化されたMNISTおよびCIFAR-10画像モデリングにおいて、競合する対数尤度を達成しており、text8の文字レベル言語モデリングタスクでは、既知のすべての離散拡散モデルを上回る性能を示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています