JS 다이버전스 젠슨-섀넌 다이버전스

JS 발산은 두 확률 분포의 유사성을 측정합니다. 이는 KL 발산의 변형을 기반으로 하며 KL 발산의 비대칭 문제를 해결합니다. 일반적으로 JS 발산은 대칭적이며 그 값은 0과 1 사이입니다.

정의는 다음과 같습니다.

KL 발산과 JS 발산을 측정할 때 문제가 있습니다.

두 분포 P와 Q가 매우 멀리 떨어져 있고 전혀 겹치지 않는 경우, KL 발산 값은 의미가 없고 JS 발산 값은 상수입니다. 즉, 이 지점의 기울기는 0입니다.