JS ダイバージェンスジェンセン・シャノン ダイバージェンス
日付
7年前
JS ダイバージェンスは、2 つの確率分布の類似性を測定します。これは、KL ダイバージェンスの変形に基づいており、KL ダイバージェンスの非対称性の問題を解決します。一般に、JS の発散は対称であり、その値は 0 から 1 の間です。
定義は次のとおりです。
KL 発散と JS 発散を測定するときに問題があります。
2 つの分布 P と Q が遠く離れており、重なりがまったくない場合、KL 発散値は意味がなく、JS 発散値は定数であり、この点での勾配が 0 であることを意味します。