变分推断 Variational Inference

变分推断是一种在概率图模型中进行近似推断的方法，相比基于采样的随机化方法，它是一种确定性逼近方法。

定义

变分推断的思想的要点可以概括如下：

• 使用已知的简单分布来逼近需推断的复杂分布；
• 限制近似分布的类型；
• 得到一种局部最优、但具有确定解的近似后验分布。

原始目标是根据已有数据推断需要的分布 p；当 p 不容易表达、不能直接求解时，可以尝试用变分推断即，寻找容易表达和求解的分布 q，当 q 和 p 的差距很小的时候（KL 散度距离最小），q 就可以作为 p 的近似分布，成为输出结果。

应用

变分推断常用于贝叶斯估计、机器学习领域中近似计算复杂积分，适用于各种复杂模型的推断。

参考来源 【1】http://crescentmoon.info/2013/10/03/变分推断学习笔记 1——概念介绍