HyperAIHyperAI

Command Palette

Search for a command to run...

Implizite Generierung und Modellierung mit energiebasierten Modellen

Yilun Du Igor Mordatch

Zusammenfassung

Energiebasierte Modelle (Energy-Based Models, EBMs) sind aufgrund ihrer Allgemeingültigkeit und Einfachheit bei der Likelihood-Modellierung äußerst attraktiv, wurden jedoch traditionell als schwer zu trainieren angesehen. Wir präsentieren Techniken zur Skalierung des MCMC-basierten Trainings von EBMs auf kontinuierlichen neuronalen Netzwerken und zeigen deren Erfolg bei hochdimensionalen Datensätzen wie ImageNet32x32, ImageNet128x128, CIFAR-10 sowie robotischen Hand-Trajektorien. Die erzeugten Samples überflügeln jene anderer Likelihood-Modelle und nähern sich der Leistung moderner GAN-Ansätze an, wobei gleichzeitig alle Moden der Daten abgedeckt werden. Wir heben einige einzigartige Fähigkeiten der impliziten Generierung hervor, darunter Kompositionalität sowie die Rekonstruktion und Inpainting verfälschter Bilder. Schließlich zeigen wir, dass EBMs vielseitige Modelle sind, die in einer Vielzahl von Aufgaben state-of-the-art-Leistung erzielen: Sie erreichen herausragende Ergebnisse bei der Klassifikation außerhalb der Trainingsverteilung, sind robust gegenüber adversariellen Angriffen, übertrumpfen bestehende Ansätze bei kontinuierlichem Online-Lernen von Klassen und liefern kohärente, langfristige Vorhersagen von Trajektorien.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp