MADE: Maskierter Autoencoder für Verteilungsschätzung

In letzter Zeit hat das Design von neuronalen Netzwerkmodellen, die eine Verteilung anhand einer Reihe von Beispielen schätzen sollen, viel Interesse geweckt. Wir stellen eine einfache Modifikation für Autoencoder-Neuronale Netze vor, die leistungsstarke generative Modelle hervorbringt. Unsere Methode maskiert die Parameter des Autoencoders, um autoregressive Bedingungen zu erfüllen: jede Eingabe wird nur aus den vorherigen Eingaben in einer bestimmten Reihenfolge rekonstruiert. Auf diese Weise eingeschränkt, können die Ausgaben des Autoencoders als eine Reihe von bedingten Wahrscheinlichkeiten interpretiert werden, deren Produkt die vollständige gemeinsame Wahrscheinlichkeit darstellt. Wir können auch ein einzelnes Netzwerk trainieren, das die gemeinsame Wahrscheinlichkeit auf verschiedene Arten zerlegen kann. Unser einfaches Framework kann auf mehrere Architekturen angewendet werden, einschließlich tiefer Netzwerke. Vektorisierte Implementierungen, wie zum Beispiel auf GPUs, sind einfach und schnell. Experimente zeigen, dass dieser Ansatz mit den besten aktuellen verteilungsschätzenden Methoden mithalten kann. Bei der Testzeit ist die Methode erheblich schneller und skaliert besser als andere autoregressive Schätzer.