Iterativer neuronaler autoregressiver Verteilungsschätzer (NADE-k)

Die Schulung des neuronalen autoregressiven Dichte-Schätzers (NADE) kann als ein Schritt der probabilistischen Inferenz auf fehlende Werte in Daten angesehen werden. Wir schlagen ein neues Modell vor, das dieses Inferenzschema auf mehrere Schritte erweitert, und argumentieren, dass es einfacher ist, eine Rekonstruktion in $k$ Schritten zu verbessern, als sie in einem einzelnen Inferenzschritt zu rekonstruieren. Das vorgeschlagene Modell ist ein unüberwachtes Bauteil für tiefes Lernen, das die wünschenswerten Eigenschaften von NADE und multi-prädiktiver Schulung kombiniert: (1) Seine Testwahrscheinlichkeit kann analytisch berechnet werden, (2) es ist einfach, daraus unabhängige Stichproben zu generieren, und (3) es verwendet eine Inferenzmaschine, die eine Obermenge der variationsbasierten Inferenz für Boltzmann-Maschinen darstellt. Der vorgeschlagene NADE-k ist bei der Dichteschätzung auf den beiden getesteten Datensätzen mit dem aktuellen Stand der Technik vergleichbar.