HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserte Satzmodellierung mit Suffix-Bidirektionalem LSTM

Siddhartha Brahma

Zusammenfassung

Rekurrente Neuronale Netze sind in der Berechnung von Repräsentationen sequentieller Daten, insbesondere textueller Daten in der Verarbeitung natürlicher Sprache, weit verbreitet. Insbesondere bidirektionale LSTMs (Bidirectional Long Short-Term Memory Networks) bilden den Kern mehrerer neuronaler Modelle, die in einer Vielzahl von Aufgaben im Bereich der NLP (Natural Language Processing) den aktuellen Stand der Technik erreichen. Allerdings sind BiLSTMs dafür bekannt, dass sie sequentielle Verzerrungen aufweisen – die kontextuelle Repräsentation eines Tokens wird stark von Tokens beeinflusst, die ihm in einem Satz nahe liegen. Wir schlagen eine allgemeine und effektive Verbesserung des BiLSTM-Modells vor, die jeden Suffix und Präfix einer Token-Sequenz sowohl in vorwärts- als auch rückwärtsrichtiger Weise kodiert. Unser Modell nennen wir Suffix-Bidirektionaler LSTM oder SuBiLSTM. Dies führt zu einer alternativen Verzerrung, die langfristige Abhängigkeiten begünstigt. Wir wenden SuBiLSTMs auf mehrere Aufgaben an, die das Modellieren von Sätzen erfordern. Wir zeigen, dass die Verwendung von SuBiLSTM anstelle von BiLSTM in bestehenden Modellen zu Leistungsverbesserungen bei der Lerngeneralisierung von Satzrepräsentationen, Textklassifizierung, textueller Implikation und Paraphrasenerkennung führt. Mit SuBiLSTM erzielen wir neue StandesderTechnik-Ergebnisse für feingranulare Stimmungsanalyse und Frageklassifizierung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verbesserte Satzmodellierung mit Suffix-Bidirektionalem LSTM | Paper | HyperAI