Negative Log-LikelihoodEs handelt sich um eine Verlustfunktion, die zur Lösung von Klassifizierungsproblemen verwendet wird. Es handelt sich um eine natürliche Logarithmusform der Wahrscheinlichkeitsfunktion, mit der die Ähnlichkeit zwischen zwei Wahrscheinlichkeitsverteilungen gemessen werden kann. Das negative Vorzeichen wird verwendet, um den maximalen Wahrscheinlichkeitswert dem minimalen Verlust anzupassen. Es handelt sich um eine gängige Funktionsform bei der Maximum-Likelihood-Schätzung und verwandten Bereichen.

Beim maschinellen Lernen ist es üblich, Optimierungsalgorithmen zu verwenden, um den Mindestwert zu finden. Daher wird eine negative Log-Likelihood verwendet. Dies ist eine gängige Verlustfunktion bei Klassifizierungsproblemen und kann auf Mehrfachklassifizierungsprobleme erweitert werden.

Negative Log-Likelihood und Likelihood-Schätzung

Bei der Parameterschätzung gibt es eine Methode namens „Maximum-Likelihood-Schätzung“. Da es sich bei der betreffenden Schätzfunktion häufig um eine Exponentialfamilie handelt, hat die Logarithmierung keinen Einfluss auf ihre Monotonie, vereinfacht jedoch den Berechnungsprozess.

Je nach verwendetem Modell kann die Logarithmusfunktion unterschiedlich sein, sie basieren jedoch alle auf der Dichtefunktion der abhängigen Variable und beinhalten Annahmen über die Verteilung zufälliger Interferenzterme.

Übergeordneter Begriff: Log-Likelihood-Funktion