2ヶ月前

非線形状態空間モデルの構造的推論ネットワーク

Rahul G. Krishnan; Uri Shalit; David Sontag
非線形状態空間モデルの構造的推論ネットワーク
要約

ガウス状態空間モデルは、数十年にわたり時系列データの生成モデルとして使用されてきました。これらのモデルは直感的な確率的解釈を許し、関数形式が単純であり、広く採用されています。本稿では、線形および非線形状態空間モデルの広範なクラスを効率的に学習する統一アルゴリズムを導入します。このアルゴリズムには、出力分布と遷移分布が深層ニューラルネットワークによってモデリングされる変種も含まれます。我々の学習アルゴリズムは、推論ネットワークと生成モデルを同時に学習し、再帰型ニューラルネットワークによってパラメータ化された構造化変分近似を使用して事後分布を模倣します。この学習アルゴリズムを合成データセットと実世界データセットに適用し、そのスケーラビリティと汎用性を示しました。構造化近似を使用した事後分布により、ホールドアウト尤度が大幅に向上することが確認されました。