HyperAIHyperAI

Command Palette

Search for a command to run...

Marginalisierbare Dichtemodelle

Dar Gilboa Ari Pakman Thibault Vatter

Zusammenfassung

Wahrscheinlichkeitsdichtemodelle auf Basis tiefer Netzwerke haben erhebliche Erfolge bei der Modellierung komplexer hochdimensionaler Datensätze erzielt. Im Gegensatz zu Kernel-Dichteschätzern liefern moderne neuronale Modelle jedoch keine geschlossenen Formen für Randverteilungen oder bedingte Dichten, da diese Größen die Auswertung selten handhabbarer Integrale erfordern. In dieser Arbeit präsentieren wir den Marginalizable Density Model Approximator (MDMA), eine neuartige Architektur tiefer Netzwerke, die geschlossene Ausdrücke für Wahrscheinlichkeiten, Randverteilungen und bedingte Dichten beliebiger Variablenuntergruppen bereitstellt. Der MDMA lernt tiefe skalare Repräsentationen für jede einzelne Variable und kombiniert sie mittels gelernter hierarchischer Tensorzerlegungen zu einer handhabbaren, dennoch ausdrucksstarken kumulativen Verteilungsfunktion (CDF), aus der Rand- und bedingte Dichten leicht abgeleitet werden können. Wir demonstrieren den Vorteil der exakten Marginalisierbarkeit an mehreren Aufgaben, die bisherigen, auf tiefen Netzwerken basierenden Dichteschätzmodellen unzugänglich waren, beispielsweise die Schätzung der gegenseitigen Information zwischen beliebigen Variablenuntergruppen, die Inferenz von Kausalität durch Testen auf bedingte Unabhängigkeit sowie die Inferenz bei fehlenden Daten ohne Notwendigkeit der Datenimputation. Auf diesen Aufgaben übertrifft das Modell state-of-the-art-Modelle. Zudem ermöglicht der MDMA eine parallelisierte Stichprobenziehung mit lediglich logarithmischer Abhängigkeit der Zeitkomplexität von der Anzahl der Variablen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp