Strukturierte Inferenznetze für nichtlineare Zustandsraummodelle

Gaußsche Zustandsraummodelle werden seit Jahrzehnten als generative Modelle für sequenzielle Daten verwendet. Sie bieten eine intuitive probabilistische Interpretation, haben eine einfache funktionale Form und genießen weite Verbreitung. Wir stellen einen vereinheitlichten Algorithmus vor, mit dem eine breite Klasse von linearen und nichtlinearen Zustandsraummodellen effizient gelernt werden kann, einschließlich Varianten, bei denen die Emissions- und Transitionsverteilungen durch tiefere neuronale Netze modelliert werden. Unser Lernalgorithmus lernt gleichzeitig ein kompiliertes Inferenznetzwerk und das generative Modell, wobei er eine strukturierte variationelle Approximation nutzt, die durch rekurrente Neuronale Netze parametrisiert ist, um die A-posteriori-Verteilung zu imitieren. Wir wenden den Lernalgorithmus auf synthetische sowie auf reale Datensätze an und zeigen seine Skalierbarkeit und Vielseitigkeit. Wir stellen fest, dass die Verwendung der strukturierten Approximation zur A-posteriori-Verteilung zu Modellen führt, die erheblich höhere Likelihoods auf unbesehenen Daten aufweisen.