Rauschkontrastschätzung
Rauschkontrastschätzung NCE ist eine von Gutmann und Hyv¨arinen vorgeschlagene Methode zur statistischen Modellschätzung. Es wird hauptsächlich zum Lösen komplexer Rechenprobleme neuronaler Netzwerke verwendet und findet derzeit breite Anwendung in den Bereichen Bildverarbeitung und Verarbeitung natürlicher Sprache.
Die Idee von NCE
Vergleichen Sie die realen Stichproben mit den „Rauschstichproben“ und ermitteln Sie daraus die Regeln der realen Stichproben, d. h., „nutzen Sie vergleichendes Lernen“, um das Problem der Wahrscheinlichkeitsgenerierung in ein Problem der binären Klassifizierung umzuwandeln. Mit anderen Worten: Vergleichen Sie die echten Stichproben mit den falschen Stichproben, die zufällig aus einer einfachen Verteilung entnommen wurden, und versuchen Sie, den Unterschied zwischen den echten und den falschen Stichproben zu finden.
Funktionen von NCE
NCE wandelt komplexe Probleme in binäre Klassifizierungsprobleme um, d. h., echte Stichproben werden mit 1 bewertet und Stichproben aus einer anderen Verteilung werden mit 0 bewertet. Darüber hinaus kann NCE die Parameter der Wahrscheinlichkeitsverteilung direkt schätzen, wenn die Berechnung des Normalisierungsfaktors nicht direkt abgeschlossen werden kann.