변분 추론

변분 추론은 확률적 그래픽 모델에서 근사적 추론을 위한 방법입니다. 표본 추출에 기반한 무작위화 방법과 비교하면 결정론적 근사 방법입니다.

정의

변분 추론의 개념의 핵심은 다음과 같이 요약할 수 있습니다.

• 추론이 필요한 복잡한 분포를 근사화하기 위해 알려진 간단한 분포를 사용합니다.
• 근사 분포의 유형을 제한합니다.
• 국소적 최적해와 명확한 해를 갖는 근사적 사후 분포가 얻어졌습니다.

원래 목표는 기존 데이터를 기반으로 필요한 분포 p를 추론하는 것입니다. p를 표현하기 어렵고 직접 풀 수 없는 경우, 변분 추론을 사용해 볼 수 있습니다. 즉, 표현하고 풀기 쉬운 분포 q를 찾을 수 있습니다. q와 p의 차이가 매우 작은 경우(KL 발산 거리가 가장 작은 경우), q는 p의 근사 분포로 사용되어 출력 결과가 될 수 있습니다.

애플리케이션

변분 추론은 베이지안 추정과 머신 러닝에서 복소수 적분을 근사화하는 데 자주 사용되며, 다양한 복소수 모델의 추론에 적합합니다.

참고문헌 【1】http://crescentmoon.info/2013/10/03/ 변분 추론 학습 노트 1——개념 소개