Variationale Inferenz
Die variationsbasierte Inferenz ist eine Methode zur approximativen Inferenz in probabilistischen grafischen Modellen. Im Vergleich zu auf Stichproben basierenden Randomisierungsmethoden handelt es sich um eine deterministische Näherungsmethode.
Definition
Die Kernpunkte der Idee der Variationsinferenz lassen sich wie folgt zusammenfassen:
- Verwenden Sie eine bekannte einfache Verteilung, um eine komplexe Verteilung anzunähern, die abgeleitet werden muss.
- Beschränken Sie die Arten der ungefähren Verteilungen.
- Es ergibt sich eine ungefähre Posterior-Verteilung mit einem lokalen Optimum, aber einer eindeutigen Lösung.
Das ursprüngliche Ziel besteht darin, die erforderliche Verteilung p anhand der vorhandenen Daten abzuleiten. Wenn p nicht einfach auszudrücken und nicht direkt zu lösen ist, können Sie versuchen, die Variationsinferenz zu verwenden, d. h. eine Verteilung q zu finden, die einfach auszudrücken und zu lösen ist. Wenn der Unterschied zwischen q und p sehr klein ist (der KL-Divergenzabstand ist am kleinsten), kann q als ungefähre Verteilung von p verwendet werden und zum Ausgabeergebnis werden.
Anwendung
Die Variationsinferenz wird häufig in der Bayes'schen Schätzung und im maschinellen Lernen verwendet, um komplexe Integrale anzunähern, und eignet sich für die Inferenz verschiedener komplexer Modelle.
Verweise 【1】http://crescentmoon.info/2013/10/03/ Variational Inference Learning Notes 1——Konzepteinführung