HyperAIHyperAI

Command Palette

Search for a command to run...

Konsole
vor 4 Monaten

Implizite Generierung und Modellierung mit energiebasierten Modellen

{Yilun Du Igor Mordatch}

Implizite Generierung und Modellierung mit energiebasierten Modellen

Abstract

Energiebasierte Modelle (Energy-Based Models, EBMs) sind aufgrund ihrer Allgemeingültigkeit und Einfachheit bei der Likelihood-Modellierung äußerst attraktiv, wurden jedoch traditionell als schwer zu trainieren angesehen. Wir präsentieren Techniken zur Skalierung des MCMC-basierten Trainings von EBMs auf kontinuierlichen neuronalen Netzwerken und zeigen deren Erfolg bei hochdimensionalen Datensätzen wie ImageNet32x32, ImageNet128x128, CIFAR-10 sowie robotischen Hand-Trajektorien. Die erzeugten Samples überflügeln jene anderer Likelihood-Modelle und nähern sich der Leistung moderner GAN-Ansätze an, wobei gleichzeitig alle Moden der Daten abgedeckt werden. Wir heben einige einzigartige Fähigkeiten der impliziten Generierung hervor, darunter Kompositionalität sowie die Rekonstruktion und Inpainting verfälschter Bilder. Schließlich zeigen wir, dass EBMs vielseitige Modelle sind, die in einer Vielzahl von Aufgaben state-of-the-art-Leistung erzielen: Sie erreichen herausragende Ergebnisse bei der Klassifikation außerhalb der Trainingsverteilung, sind robust gegenüber adversariellen Angriffen, übertrumpfen bestehende Ansätze bei kontinuierlichem Online-Lernen von Klassen und liefern kohärente, langfristige Vorhersagen von Trajektorien.

Code-Repositories

Benchmarks

BenchmarkMethodikMetriken
image-generation-on-stacked-mnistEBM on x
FID: 48.89
Inception score: 5.85

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Implizite Generierung und Modellierung mit energiebasierten Modellen | Forschungsarbeiten | HyperAI