変分推論変分推論
変分推論は、確率的グラフィカル モデルにおける近似推論の方法であり、サンプリング ベースのランダム化方法と比較して決定論的な近似方法です。
意味
変分推論の考え方の要点は次のように要約できます。
- 既知の単純な分布を使用して、推定する必要がある複雑な分布を近似します。
- 制限付き近似分布の種類。
- 局所的に最適であるが明確な解を持つ近似事後分布が取得されます。
本来の目的は、既存のデータに基づいて必要な分布 p を推測することですが、p を表現するのが難しく、直接解決できない場合は、変分推論を使用して、表現しやすい分布 q を見つけることができます。 q と p の差が小さい場合 (KL 発散距離が最小の場合)、q を p の近似分布として使用し、出力結果とすることができます。
応用
変分推論は機械学習の分野におけるベイズ推定や複素積分の近似計算によく用いられ、さまざまな複雑なモデルの推論に適しています。
参考文献 【1】http://crescentmoon.info/2013/10/03/変分推論学習ノート 1——コンセプトの紹介