Auto-Encoding Variational Bayes Automatische Variations-Bayes-Kodierung

Wie können wir effiziente Inferenz und Lernen in gerichteten stochastischen Modellen durchführen, insbesondere wenn kontinuierliche latente Variablen mit nicht handhabbaren A-posteriori-Verteilungen und große Datensätze vorhanden sind? Wir stellen einen stochastischen variationsinferenz- und Lernalgorithmus vor, der auf große Datensätze skaliert und unter milden Differenzierbarkeitsbedingungen auch im nicht handhabbaren Fall funktioniert. Unsere Beiträge sind zweifach. Erstens zeigen wir, dass eine Reparameterisierung der variationsunteren Schranke einen Schätzer für die untere Schranke ergibt, der sich mithilfe standardisierter stochastischer Gradientenmethoden einfach optimieren lässt. Zweitens zeigen wir, dass für unabhängige und identisch verteilte (i.i.d.) Datensätze mit kontinuierlichen latenten Variablen pro Datenpunkt die posteriore Inferenz besonders effizient durchgeführt werden kann, indem man ein approximatives Inferenzmodell (auch als Erkennungsmodell bezeichnet) an das nicht handhabbare A-posteriori unter Verwendung des vorgeschlagenen Schätzers für die untere Schranke anpasst. Die theoretischen Vorteile spiegeln sich in den experimentellen Ergebnissen wider.