SA-Solver: Stochastic Adams Solver für schnelles Sampling von Diffusionsmodellen

Diffusionsbasierte probabilistische Modelle (DPMs) haben bei Generierungsaufgaben erheblichen Erfolg erzielt. Da die Stichprobenerzeugung aus DPMs äquivalent ist dem Lösen einer Diffusions-SDE oder -ODE, was zeitaufwendig ist, wurden zahlreiche schnelle Stichprobenerzeugungsmethoden vorgeschlagen, die auf verbesserten Differentialgleichungslösern basieren. Die meisten dieser Techniken konzentrieren sich auf die Lösung der Diffusions-ODE aufgrund ihrer höheren Effizienz. Stochastische Stichprobenerzeugung könnte jedoch zusätzliche Vorteile bei der Erzeugung vielfältiger und hochwertiger Daten bieten. In dieser Arbeit führen wir eine umfassende Analyse der stochastischen Stichprobenerzeugung aus zwei Perspektiven durch: varianzkontrollierte Diffusions-SDE und linearer Mehrschritt-SDE-Löser. Auf Basis unserer Analyse präsentieren wir den \textit{SA-Solver}, einen verbesserten, effizienten stochastischen Adams-Verfahrensansatz zur Lösung von Diffusions-SDEs zur Erzeugung hochwertiger Daten. Unsere Experimente zeigen, dass der \textit{SA-Solver} folgende Leistungen erbringt: 1) Verbesserte oder vergleichbare Ergebnisse im Vergleich zu bestehenden State-of-the-Art (SOTA)-Stichprobenerzeugungsmethoden bei geringer Anzahl von Schritten; 2) SOTA-FID-Werte auf umfangreichen Benchmark-Datensätzen bei einer angemessenen Anzahl an Funktionsauswertungen (NFEs). Der Quellcode ist unter https://github.com/scxue/SA-Solver verfügbar.