HyperAI

Markov-Ketten-Monte-Carlo-Methode MCMC

Datum

vor 7 Jahren

MCMC Es handelt sich um einen Algorithmus zur Stichprobenziehung aus einer Zufallsverteilung auf Grundlage einer Markow-Kette, der die Posterior-Verteilung des betreffenden Parameters durch Zufallsstichprobenziehung im Wahrscheinlichkeitsraum approximiert.

Die grundlegende Theorie von MCMC ist der Markow-Prozess. Um in verwandten Algorithmen eine Stichprobe auf einer bestimmten Verteilung zu erfassen, können wir diesen Prozess gemäß dem Markov-Prozess aus jedem Zustand simulieren und kontinuierlich Zustandsübergänge durchführen, bis er schließlich zu einer stabilen Verteilung konvergiert.

Die Grundidee besteht darin, die komplexe Verteilung durch eine stabile Verteilung zu ersetzen und diese zum Abtasten und Anpassen zu verwenden, um schließlich die Verteilung der komplexen Stichprobe zu erhalten.

Gängige MCMC-Methoden: Metropolis-Hastings-Sampling, Gibbs-Sampling

Metropolis-Hastings-Probenahme

1: Initialisieren Sie den Anfangszustand der Markov-Kette ${X\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{0}}}$

2: Beispiel für den folgenden Prozess des ${t\text{ }=\text{ }0,\text{ }1,\text{ }2,\text{ }…}$ -Zyklus

Zum Zeitpunkt $\text{[math]}$ ist der Zustand der Markov-Kette ${X\mathop{{}}\nolimits_{{t}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{t}}}$ und die Stichprobenziehung ${y\text{ } \sim \text{ }q{ \left( {x \left| x\mathop{{}}\nolimits_{{t}}\right. } \right) }}$
Stichprobenziehung aus einer Gleichverteilung ${u\text{ } \sim \text{ }Uniform{ \left[ {0,1} \right] }}$
Wenn ${u\text{ } < \text{ } \alpha { \left( {x\mathop{{}}\nolimits_{{t}},y} \right) }\text{ }=\text{ }min{ \left\{ {\frac{{p{ \left( {y} \right) }q{ \left( {x\mathop{{}}\nolimits_{{t}} \left| y\right. } \right) }}}{{p{ \left( {x\mathop{{}}\nolimits_{{t}}} \right) }p{ \left( {y \left| {x\mathop{{}}\nolimits_{{t}}\text{ } \to \text{ }y}$ , d.h. ${X\mathop{{}}\nolimits_{{t+1}}\text{ }=\text{ }y}$
Andernfalls wird die Übertragung nicht akzeptiert, d. h. ${X\mathop{{}}\nolimits_{{t+1}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{t}}}$

Gibbs-Sampling

1: $latex zufällig initialisieren {X\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{0}},\text{ }Y\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }y\mathop{{}}\nolimits_{{0}}}$

2: Zyklische Abtastung von ${t\text{ }=\text{ }0,\text{ }1,\text{ }2,\text{ }…}$

${y\mathop{{}}\nolimits_{{t+1}}\text{ } \sim \text{ }p{ \left( {y \left| x\mathop{{}}\nolimits_{{t}}\right. } \right) }}$
${x\mathop{{}}\nolimits_{{t+1}}\text{ } \sim \text{ }p{ \left( {x \left| y\mathop{{}}\nolimits_{{t+1}}\right. } \right) }}$

Verweise

【1】Erste Schritte mit MCMC

【2】Eine kurze Analyse der Markov-Ketten-Monte-Carlo-Methode

Markov-Ketten-Monte-Carlo-Methode MCMC

Datum

vor 7 Jahren

Gängige MCMC-Methoden: Metropolis-Hastings-Sampling, Gibbs-Sampling

Metropolis-Hastings-Probenahme

1: Initialisieren Sie den Anfangszustand der Markov-Kette ${X\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{0}}}$

2: Beispiel für den folgenden Prozess des ${t\text{ }=\text{ }0,\text{ }1,\text{ }2,\text{ }…}$ -Zyklus

Zum Zeitpunkt $\text{[math]}$ ist der Zustand der Markov-Kette ${X\mathop{{}}\nolimits_{{t}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{t}}}$ und die Stichprobenziehung ${y\text{ } \sim \text{ }q{ \left( {x \left| x\mathop{{}}\nolimits_{{t}}\right. } \right) }}$
Stichprobenziehung aus einer Gleichverteilung ${u\text{ } \sim \text{ }Uniform{ \left[ {0,1} \right] }}$
Wenn ${u\text{ } < \text{ } \alpha { \left( {x\mathop{{}}\nolimits_{{t}},y} \right) }\text{ }=\text{ }min{ \left\{ {\frac{{p{ \left( {y} \right) }q{ \left( {x\mathop{{}}\nolimits_{{t}} \left| y\right. } \right) }}}{{p{ \left( {x\mathop{{}}\nolimits_{{t}}} \right) }p{ \left( {y \left| {x\mathop{{}}\nolimits_{{t}}\text{ } \to \text{ }y}$ , d.h. ${X\mathop{{}}\nolimits_{{t+1}}\text{ }=\text{ }y}$
Andernfalls wird die Übertragung nicht akzeptiert, d. h. ${X\mathop{{}}\nolimits_{{t+1}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{t}}}$

Gibbs-Sampling

1: $latex zufällig initialisieren {X\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{0}},\text{ }Y\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }y\mathop{{}}\nolimits_{{0}}}$

2: Zyklische Abtastung von ${t\text{ }=\text{ }0,\text{ }1,\text{ }2,\text{ }…}$

${y\mathop{{}}\nolimits_{{t+1}}\text{ } \sim \text{ }p{ \left( {y \left| x\mathop{{}}\nolimits_{{t}}\right. } \right) }}$
${x\mathop{{}}\nolimits_{{t+1}}\text{ } \sim \text{ }p{ \left( {x \left| y\mathop{{}}\nolimits_{{t+1}}\right. } \right) }}$

Verweise

【1】Erste Schritte mit MCMC

【2】Eine kurze Analyse der Markov-Ketten-Monte-Carlo-Methode

Markov-Ketten-Monte-Carlo-Methode MCMC

Datum

vor 7 Jahren

Gängige MCMC-Methoden: Metropolis-Hastings-Sampling, Gibbs-Sampling

Metropolis-Hastings-Probenahme

1: Initialisieren Sie den Anfangszustand der Markov-Kette ${X\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{0}}}$

2: Beispiel für den folgenden Prozess des ${t\text{ }=\text{ }0,\text{ }1,\text{ }2,\text{ }…}$ -Zyklus

Zum Zeitpunkt $\text{[math]}$ ist der Zustand der Markov-Kette ${X\mathop{{}}\nolimits_{{t}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{t}}}$ und die Stichprobenziehung ${y\text{ } \sim \text{ }q{ \left( {x \left| x\mathop{{}}\nolimits_{{t}}\right. } \right) }}$
Stichprobenziehung aus einer Gleichverteilung ${u\text{ } \sim \text{ }Uniform{ \left[ {0,1} \right] }}$
Wenn ${u\text{ } < \text{ } \alpha { \left( {x\mathop{{}}\nolimits_{{t}},y} \right) }\text{ }=\text{ }min{ \left\{ {\frac{{p{ \left( {y} \right) }q{ \left( {x\mathop{{}}\nolimits_{{t}} \left| y\right. } \right) }}}{{p{ \left( {x\mathop{{}}\nolimits_{{t}}} \right) }p{ \left( {y \left| {x\mathop{{}}\nolimits_{{t}}\text{ } \to \text{ }y}$ , d.h. ${X\mathop{{}}\nolimits_{{t+1}}\text{ }=\text{ }y}$
Andernfalls wird die Übertragung nicht akzeptiert, d. h. ${X\mathop{{}}\nolimits_{{t+1}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{t}}}$

Gibbs-Sampling

1: $latex zufällig initialisieren {X\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }x\mathop{{}}\nolimits_{{0}},\text{ }Y\mathop{{}}\nolimits_{{0}}\text{ }=\text{ }y\mathop{{}}\nolimits_{{0}}}$

2: Zyklische Abtastung von ${t\text{ }=\text{ }0,\text{ }1,\text{ }2,\text{ }…}$

${y\mathop{{}}\nolimits_{{t+1}}\text{ } \sim \text{ }p{ \left( {y \left| x\mathop{{}}\nolimits_{{t}}\right. } \right) }}$
${x\mathop{{}}\nolimits_{{t+1}}\text{ } \sim \text{ }p{ \left( {x \left| y\mathop{{}}\nolimits_{{t+1}}\right. } \right) }}$

Verweise

【1】Erste Schritte mit MCMC

【2】Eine kurze Analyse der Markov-Ketten-Monte-Carlo-Methode

Markov-Ketten-Monte-Carlo-Methode MCMC

Metropolis-Hastings-Probenahme

Gibbs-Sampling

Verweise

KI mit KI entwickeln

Hyper Newsletters

Markov-Ketten-Monte-Carlo-Methode MCMC

Metropolis-Hastings-Probenahme

Gibbs-Sampling

Verweise

KI mit KI entwickeln

Hyper Newsletters

Markov-Ketten-Monte-Carlo-Methode MCMC

Metropolis-Hastings-Probenahme

Gibbs-Sampling

Verweise

KI mit KI entwickeln

Hyper Newsletters

Command Palette

Markov-Ketten-Monte-Carlo-Methode MCMC

Metropolis-Hastings-Probenahme

Gibbs-Sampling

Verweise

KI mit KI entwickeln

Hyper Newsletters

Command Palette

Markov-Ketten-Monte-Carlo-Methode MCMC

Metropolis-Hastings-Probenahme

Gibbs-Sampling

Verweise

KI mit KI entwickeln

Hyper Newsletters

Command Palette

Markov-Ketten-Monte-Carlo-Methode MCMC

Metropolis-Hastings-Probenahme

Gibbs-Sampling

Verweise

KI mit KI entwickeln

Hyper Newsletters