Marginalisierbare Dichtemodelle

Wahrscheinlichkeitsdichtemodelle auf Basis tiefer Netzwerke haben erhebliche Erfolge bei der Modellierung komplexer hochdimensionaler Datensätze erzielt. Im Gegensatz zu Kernel-Dichteschätzern liefern moderne neuronale Modelle jedoch keine geschlossenen Formen für Randverteilungen oder bedingte Dichten, da diese Größen die Auswertung selten handhabbarer Integrale erfordern. In dieser Arbeit präsentieren wir den Marginalizable Density Model Approximator (MDMA), eine neuartige Architektur tiefer Netzwerke, die geschlossene Ausdrücke für Wahrscheinlichkeiten, Randverteilungen und bedingte Dichten beliebiger Variablenuntergruppen bereitstellt. Der MDMA lernt tiefe skalare Repräsentationen für jede einzelne Variable und kombiniert sie mittels gelernter hierarchischer Tensorzerlegungen zu einer handhabbaren, dennoch ausdrucksstarken kumulativen Verteilungsfunktion (CDF), aus der Rand- und bedingte Dichten leicht abgeleitet werden können. Wir demonstrieren den Vorteil der exakten Marginalisierbarkeit an mehreren Aufgaben, die bisherigen, auf tiefen Netzwerken basierenden Dichteschätzmodellen unzugänglich waren, beispielsweise die Schätzung der gegenseitigen Information zwischen beliebigen Variablenuntergruppen, die Inferenz von Kausalität durch Testen auf bedingte Unabhängigkeit sowie die Inferenz bei fehlenden Daten ohne Notwendigkeit der Datenimputation. Auf diesen Aufgaben übertrifft das Modell state-of-the-art-Modelle. Zudem ermöglicht der MDMA eine parallelisierte Stichprobenziehung mit lediglich logarithmischer Abhängigkeit der Zeitkomplexität von der Anzahl der Variablen.