近似推断是一种模型训练方法,其采用假设-验证的逻辑进行训练,其核心任务是计算某分布下的函数期望,或者计算边缘概率分布、条件概率分布等。
由于他们通常需要积分或求和操作,同时参数条件并不十分明确或计算代价比较高,而近似推断的方法可以降低推导结果的成本和难度。
近似推断的方法
随机方法:Gibbs 采样法,通过大量的样本估计真实的后验,以真实数据为基础来近似目标分布。
优点:更精确、而且采样过程相对简单、易于操作、有良好的理论收敛性
缺点:收敛速度较慢,难以判断收敛程度
变分法:用一些已知的简单的分布来近似后验分布。
优点:有解析解、计算开销较小、速度快、易于在大规模问题中应用
缺点:推导过程相对复杂,对人的要求高