马尔可夫链蒙塔卡罗方法 MCMC

MCMC 是一种基于马尔科夫链从随机分布取样的算法，其通过在概率空间中随机采样以近似兴趣参数的后验分布。

MCMC 基础理论为马尔科夫过程，在相关算法中，为了在一个指定分布上采样，可根据马尔科夫过程，先从任意状态出发模拟这个过程，并不断进行状态转移，最终收敛到平稳分布。

整体思路是利用平稳分布替代复杂分布，并以此取样拟合最终得到复杂样本的分布。

常用 MCMC 方法：Metropolis-Hastings 采样、 Gibbs 采样

Metropolis-Hastings 采样

1：初始化马氏链初始状态 ${X\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{0}}}$

2：对 ${t\text{ }=\text{ }0,\text{ }1,\text{ }2,\text{ }…}$ 循环以下过程进行采样

第 $\text{[math]}$ 个时刻马氏链状态为 ${X\mathop{{}}\nolimits_{{t}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{t}}}$ ，采样 ${y\text{ } \sim \text{ }q{ \left( {x \left| x\mathop{{}}\nolimits_{{t}}\right. } \right) }}$
从均匀分布采样 ${u\text{ } \sim \text{ }Uniform{ \left[ {0,1} \right] }}$
如果 ${u\text{ } < \text{ } \alpha { \left( {x\mathop{{}}\nolimits_{{t}},y} \right) }\text{ }=\text{ }min{ \left\{ {\frac{{p{ \left( {y} \right) }q{ \left( {x\mathop{{}}\nolimits_{{t}} \left| y\right. } \right) }}}{{p{ \left( {x\mathop{{}}\nolimits_{{t}}} \right) }p{ \left( {y \left| x\mathop{{}}\nolimits_{{t}}\right. } \right) }}},1} \right\} }}$ 则接受转移 ${x\mathop{{}}\nolimits_{{t}}\text{ } \to \text{ }y}$ ，即 ${X\mathop{{}}\nolimits_{{t+1}}\text{ }=\text{ }y}$
否则不接受转移，即 ${X\mathop{{}}\nolimits_{{t+1}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{t}}}$

Gibbs 采样

1：随机初始化 ${X\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{0}},\text{ }Y\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }y\mathop{{}}\nolimits_{{0}}}$

2：对 ${t\text{ }=\text{ }0,\text{ }1,\text{ }2,\text{ }…}$ 循环采样

${y\mathop{{}}\nolimits_{{t+1}}\text{ } \sim \text{ }p{ \left( {y \left| x\mathop{{}}\nolimits_{{t}}\right. } \right) }}$
${x\mathop{{}}\nolimits_{{t+1}}\text{ } \sim \text{ }p{ \left( {x \left| y\mathop{{}}\nolimits_{{t+1}}\right. } \right) }}$

参考来源

【1】MCMC 入门指南

【2】马尔可夫链蒙特卡罗方法简析