HyperAIHyperAI

Command Palette

Search for a command to run...

MADE: Maskierter Autoencoder für Verteilungsschätzung

Mathieu Germain; Karol Gregor; Iain Murray; Hugo Larochelle

Zusammenfassung

In letzter Zeit hat das Design von neuronalen Netzwerkmodellen, die eine Verteilung anhand einer Reihe von Beispielen schätzen sollen, viel Interesse geweckt. Wir stellen eine einfache Modifikation für Autoencoder-Neuronale Netze vor, die leistungsstarke generative Modelle hervorbringt. Unsere Methode maskiert die Parameter des Autoencoders, um autoregressive Bedingungen zu erfüllen: jede Eingabe wird nur aus den vorherigen Eingaben in einer bestimmten Reihenfolge rekonstruiert. Auf diese Weise eingeschränkt, können die Ausgaben des Autoencoders als eine Reihe von bedingten Wahrscheinlichkeiten interpretiert werden, deren Produkt die vollständige gemeinsame Wahrscheinlichkeit darstellt. Wir können auch ein einzelnes Netzwerk trainieren, das die gemeinsame Wahrscheinlichkeit auf verschiedene Arten zerlegen kann. Unser einfaches Framework kann auf mehrere Architekturen angewendet werden, einschließlich tiefer Netzwerke. Vektorisierte Implementierungen, wie zum Beispiel auf GPUs, sind einfach und schnell. Experimente zeigen, dass dieser Ansatz mit den besten aktuellen verteilungsschätzenden Methoden mithalten kann. Bei der Testzeit ist die Methode erheblich schneller und skaliert besser als andere autoregressive Schätzer.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MADE: Maskierter Autoencoder für Verteilungsschätzung | Paper | HyperAI