Bayesian Flow Networks

Diese Arbeit stellt Bayesian Flow Networks (BFNs) vor, eine neue Klasse generativer Modelle, bei denen die Parameter einer Menge unabhängiger Verteilungen mithilfe bayesscher Inferenz anhand verrauschter Datensamples angepasst werden und anschließend als Eingabe in ein neuronales Netzwerk geleitet werden, das eine zweite, abhängige Verteilung ausgibt. Ausgehend von einer einfachen Prior-Verteilung und iterativer Aktualisierung beider Verteilungen ergibt sich ein generativer Prozess, der dem umgekehrten Prozess von Diffusionsmodellen ähnelt; er ist jedoch konzeptionell einfacher, da kein Vorwärtsprozess erforderlich ist. Für kontinuierliche, diskretisierte und diskrete Daten werden Verlustfunktionen sowohl im kontinuierlichen als auch im diskreten Zeitraum abgeleitet, zusammen mit Verfahren zur Stichprobenerzeugung. Besonders hervorzuheben ist, dass die Netzwerkeingaben für diskrete Daten auf dem Wahrscheinlichkeitssimplex liegen und somit nativ differenzierbar sind, was den Weg für gradientenbasierte Stichprobenguidance und Generierung in wenigen Schritten in diskreten Domänen wie der Sprachmodellierung ebnen. Die Verlustfunktion optimiert direkt die Datenkompression und stellt keine Einschränkungen bezüglich der Netzwerkarchitektur. In unseren Experimenten erreichen BFNs konkurrenzfähige Log-Wahrscheinlichkeiten für die Bildmodellierung auf dynamisch binarisierten MNIST- und CIFAR-10-Daten und schlagen alle bekannten diskreten Diffusionsmodelle bei der character-level Sprachmodellierungsaufgabe text8.