Soft Truncation: Eine universelle Trainingsmethode für scorebasierte Diffusionsmodelle zur hochpräzisen Score-Schätzung

Neuere Fortschritte bei Diffusionsmodellen erzielen aktuell die bestmögliche Leistung bei Aufgaben der Bildgenerierung. Dennoch deuten empirische Ergebnisse früherer Forschungen an, dass zwischen der Dichteschätzung und der Qualität der generierten Proben eine umgekehrte Korrelation besteht. Diese Arbeit untersucht anhand ausreichender empirischer Belege, dass dieser Effekt darauf zurückzuführen ist, dass die Dichteschätzung hauptsächlich durch kleine Diffusionszeiten beeinflusst wird, während die Bildgenerierung vor allem von großen Diffusionszeiten abhängt. Die gleichzeitige gutartige Schätzung der Score-Funktion über den gesamten Bereich der Diffusionszeit ist jedoch anspruchsvoll, da die Verlustskala bei verschiedenen Diffusionszeiten erheblich unbalanciert ist. Um eine erfolgreiche Ausbildung zu gewährleisten, führen wir Soft Truncation ein, eine universell anwendbare Trainingsmethode für Diffusionsmodelle, die den festen und statischen Truncation-Hyperparameter in eine Zufallsvariable überführt. In Experimenten erreicht Soft Truncation state-of-the-art Ergebnisse auf den Datensätzen CIFAR-10, CelebA, CelebA-HQ 256x256 und STL-10.