HyperAI超神经

MCMC これは、ランダム分布からのマルコフ連鎖サンプリングに基づくアルゴリズムであり、確率空間でランダムにサンプリングすることによって対象パラメータの事後分布を近似します。

MCMC の基本理論はマルコフ過程であり、関連するアルゴリズムでは、指定された分布でサンプリングするために、マルコフ過程に従って任意の状態から開始して状態遷移を継続し、最終的にはに収束します。定常分布。

全体的な考え方は、定常分布を使用して複素分布を置き換え、このサンプリングフィッティングを使用して最終的に複素サンプルの分布を取得することです。

一般的に使用される MCMC 手法: メトロポリス・ヘイスティングスサンプリング、ギブスサンプリング

メトロポリス・ヘイスティングスのサンプリング

1: マルコフ連鎖の初期状態を初期化する $latex {X\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{0}}} $

2: $latex の以下の処理をサンプルします。 {t\text{ }=\text{ }0,\text{ }1,\text{ }2,\text{ }…}$

$\text{[math]}$ 時点でのマルコフ連鎖の状態は ${X\mathop{{}}\nolimits_{{t}}\text{ }=\text{ }x\mathop{{}}\nolimits_{ {t }}}$ 、サンプリング ${y\text{ } \sim \text{ }q{ \left( {x \left| x\mathop{{}}\nolimits_{{t}}\right. } \右) }}$
一様分布からの $latex のサンプリング {u\text{ } \sim \text{ }Uniform{ \left[ {0,1} \right] }}$
If ${u\text{ } < \text{ } \alpha { \left( {x\mathop{{}}\nolimits_{{t}},y} \right) }\text{ }=\text{ } min{ \left\{ {\frac{{p{ \left( {y} \right) }q{ \left( {x\mathop{{}}\nolimits_{{t}} \left| y\right. } \right) }}}{{p{ \left( {x\mathop{{}}\nolimits_{{t}}} \right) }p{ \left( {y \left| x\mathop{{} }\nolimits_{{t}}\right. } \right) }}},1} \right\} }}$ は転送を受け入れます ${x\mathop{{}}\nolimits_{{t}}\text{ } \to \text{ }y}$ 、つまり ${X\mathop{{}}\nolimits_{{t+1}}\text{ }=\text{ }y}$
それ以外の場合、転送は受け入れられません。つまり、 ${X\mathop{{}}\nolimits_{{t+1}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{ t}}}$

ギブスサンプリング

1: ${X\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{0}},\text{ }Y\ をランダムに初期化しますmathop{{}}\nolimits_{{0}}\text{ }=\text{ }y\mathop{{}}\nolimits_{{0}}}$

2: $latex の循環サンプリング {t\text{ }=\text{ }0,\text{ }1,\text{ }2,\text{ }…}$

${y\mathop{{}}\nolimits_{{t+1}}\text{ } \sim \text{ }p{ \left( {y \left| x\mathop{{}}\nolimits_{{t }}\右。 } \右) }}$
${x\mathop{{}}\nolimits_{{t+1}}\text{ } \sim \text{ }p{ \left( {x \left| y\mathop{{}}\nolimits_{{t +1}}\right. } \right) }}$

参考文献

【1】MCMC スタートガイド

【2】マルコフ連鎖モンテカルロ法の簡単な分析

マルコフ連鎖モンテカルロ法 MCMC

メトロポリス・ヘイスティングスのサンプリング

ギブスサンプリング

参考文献