Implizite Generierung und Modellierung mit energiebasierten Modellen

Energiebasierte Modelle (Energy-Based Models, EBMs) sind aufgrund ihrer Allgemeingültigkeit und Einfachheit bei der Likelihood-Modellierung äußerst attraktiv, wurden jedoch traditionell als schwer zu trainieren angesehen. Wir präsentieren Techniken zur Skalierung des MCMC-basierten Trainings von EBMs auf kontinuierlichen neuronalen Netzwerken und zeigen deren Erfolg bei hochdimensionalen Datensätzen wie ImageNet32x32, ImageNet128x128, CIFAR-10 sowie robotischen Hand-Trajektorien. Die erzeugten Samples überflügeln jene anderer Likelihood-Modelle und nähern sich der Leistung moderner GAN-Ansätze an, wobei gleichzeitig alle Moden der Daten abgedeckt werden. Wir heben einige einzigartige Fähigkeiten der impliziten Generierung hervor, darunter Kompositionalität sowie die Rekonstruktion und Inpainting verfälschter Bilder. Schließlich zeigen wir, dass EBMs vielseitige Modelle sind, die in einer Vielzahl von Aufgaben state-of-the-art-Leistung erzielen: Sie erreichen herausragende Ergebnisse bei der Klassifikation außerhalb der Trainingsverteilung, sind robust gegenüber adversariellen Angriffen, übertrumpfen bestehende Ansätze bei kontinuierlichem Online-Lernen von Klassen und liefern kohärente, langfristige Vorhersagen von Trajektorien.