Divergence JS Divergence Jensen-Shannon

La divergence JS mesure la similarité de deux distributions de probabilité. Il est basé sur une variante de la divergence KL et résout le problème asymétrique de la divergence KL. Généralement, la divergence JS est symétrique et sa valeur est comprise entre 0 et 1.

La définition est la suivante :

Il y a un problème lors de la mesure de la divergence KL et de la divergence JS :

Si les deux distributions P et Q sont très éloignées et ne se chevauchent pas du tout, alors la valeur de divergence KL n'a pas de sens et la valeur de divergence JS est une constante, ce qui signifie que le gradient de ce point est de 0.