JS-Divergenz Jensen-Shannon-Divergenz

Die JS-Divergenz misst die Ähnlichkeit zweier Wahrscheinlichkeitsverteilungen. Es basiert auf einer Variante der KL-Divergenz und löst das asymmetrische Problem der KL-Divergenz. Im Allgemeinen ist die JS-Divergenz symmetrisch und ihr Wert liegt zwischen 0 und 1.

Die Definition lautet wie folgt:

Beim Messen der KL-Divergenz und der JS-Divergenz tritt ein Problem auf:

Wenn die beiden Verteilungen P und Q sehr weit voneinander entfernt sind und sich überhaupt nicht überschneiden, ist der KL-Divergenzwert bedeutungslos und der JS-Divergenzwert eine Konstante, was bedeutet, dass der Gradient dieses Punkts 0 ist.