Iterativer neuronaler autoregressiver Verteilungsschätzer NADE-k

Die Schätzung der neuronalen autoregressiven Dichte (NADE) kann als die Durchführung eines Schritts der probabilistischen Inferenz bei fehlenden Werten in Daten interpretiert werden. Wir schlagen ein neues Modell vor, das dieses Inferenzschema auf mehrere Schritte erweitert und argumentieren, dass es einfacher ist, ein Modell zu lernen, das eine Rekonstruktion über $k$ Schritte verbessert, als ein Modell zu lernen, das die Rekonstruktion in einem einzigen Inferenzschritt vollzieht. Das vorgeschlagene Modell ist ein unsupervisionierter Baustein für tiefe Lernverfahren, der die vorteilhaften Eigenschaften von NADE und multi-prädiktiver Trainingsstrategie vereint: (1) Die Test-Wahrscheinlichkeit kann analytisch berechnet werden, (2) es ist einfach, unabhängige Stichproben aus dem Modell zu generieren, und (3) es nutzt einen Inferenzmotor, der eine Obermenge der Variationalen Inferenz für Boltzmann-Maschinen darstellt. Das vorgeschlagene NADE-$k$ erzielt Ergebnisse, die mit dem Stand der Technik bei der Dichteschätzung auf den zwei getesteten Datensätzen konkurrieren.