HyperAIHyperAI

Command Palette

Search for a command to run...

Soft Truncation: Eine universelle Trainingsmethode für scorebasierte Diffusionsmodelle zur hochpräzisen Score-Schätzung

Dongjun Kim Seungjae Shin Kyungwoo Song Wanmo Kang Il-Chul Moon

Zusammenfassung

Neuere Fortschritte bei Diffusionsmodellen erzielen aktuell die bestmögliche Leistung bei Aufgaben der Bildgenerierung. Dennoch deuten empirische Ergebnisse früherer Forschungen an, dass zwischen der Dichteschätzung und der Qualität der generierten Proben eine umgekehrte Korrelation besteht. Diese Arbeit untersucht anhand ausreichender empirischer Belege, dass dieser Effekt darauf zurückzuführen ist, dass die Dichteschätzung hauptsächlich durch kleine Diffusionszeiten beeinflusst wird, während die Bildgenerierung vor allem von großen Diffusionszeiten abhängt. Die gleichzeitige gutartige Schätzung der Score-Funktion über den gesamten Bereich der Diffusionszeit ist jedoch anspruchsvoll, da die Verlustskala bei verschiedenen Diffusionszeiten erheblich unbalanciert ist. Um eine erfolgreiche Ausbildung zu gewährleisten, führen wir Soft Truncation ein, eine universell anwendbare Trainingsmethode für Diffusionsmodelle, die den festen und statischen Truncation-Hyperparameter in eine Zufallsvariable überführt. In Experimenten erreicht Soft Truncation state-of-the-art Ergebnisse auf den Datensätzen CIFAR-10, CelebA, CelebA-HQ 256x256 und STL-10.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp