HyperAIHyperAI

Command Palette

Search for a command to run...

Bindung von Wortvektoren und Wortklassifizierern: Ein Verlustrahmen für die Sprachmodellierung

Hakan Inan; Khashayar Khosravi; Richard Socher

Zusammenfassung

Recurrent Neural Networks (RNNs) haben sich bei der Vorhersage von Wortsequenzen in Aufgaben wie dem Sprachmodellieren sehr erfolgreich erwiesen. Dennoch basieren alle diese Modelle auf dem konventionellen Klassifizierungsrahmen, bei dem das Modell anhand von One-Hot-Zielen trainiert wird und jedes Wort sowohl als Eingabe als auch als Ausgabe isoliert dargestellt wird. Dies führt zu Lernineffizienzen, sowohl hinsichtlich der Nutzung aller Informationen als auch in Bezug auf die Anzahl der Parameter, die zum Training benötigt werden. Wir stellen einen neuen theoretischen Rahmen vor, der das bessere Lernen im Sprachmodellieren fördert, und zeigen, dass unser Rahmen es ermöglicht, die Eingabe-Embedding-Matrizen und die Ausgabe-Projektionsmatrizen zu verbinden (to tie together), was die Anzahl der trainierbaren Variablen erheblich reduziert. Unser Rahmen führt bei verschiedenen Netzwerkmodellen zu einem Stand-des-Nachts-Ergebnis (state of the art performance) auf dem Penn Treebank-Korpus.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp