Lernen generativer Modelle mithilfe von Denoising-Dichteschätzer

Das Lernen probabilistischer Modelle, die die Dichte einer gegebenen Menge von Stichproben schätzen und anschließend Stichproben aus dieser Dichte generieren können, stellt eine zentrale Herausforderung im unsupervised machine learning dar. Wir stellen ein neues generatives Modell vor, das auf Denoising-Density-Schätzern (DDEs) basiert, also skalaren Funktionen, die durch neuronale Netze parametrisiert sind und effizient trainiert werden, um Kerndichteschätzer der Daten darzustellen. Unter Verwendung von DDEs leisten wir einen zentralen Beitrag durch eine neuartige Technik zur Gewinnung generativer Modelle, die die KL-Divergenz direkt minimiert. Wir beweisen, dass unser Algorithmus zur Gewinnung generativer Modelle garantiert gegen die korrekte Lösung konvergiert. Unser Ansatz erfordert weder eine spezifische Netzarchitektur wie bei Normalisierungsflüssen noch die Verwendung von gewöhnlichen Differentialgleichungslösern wie bei kontinuierlichen Normalisierungsflüssen. Experimentelle Ergebnisse zeigen eine erhebliche Verbesserung bei der Dichteschätzung sowie wettbewerbsfähige Leistung bei der Trainingsperformance generativer Modelle.