Verbesserte Satzmodellierung mit Suffix-Bidirektionalem LSTM

Rekurrente Neuronale Netze sind in der Berechnung von Repräsentationen sequentieller Daten, insbesondere textueller Daten in der Verarbeitung natürlicher Sprache, weit verbreitet. Insbesondere bidirektionale LSTMs (Bidirectional Long Short-Term Memory Networks) bilden den Kern mehrerer neuronaler Modelle, die in einer Vielzahl von Aufgaben im Bereich der NLP (Natural Language Processing) den aktuellen Stand der Technik erreichen. Allerdings sind BiLSTMs dafür bekannt, dass sie sequentielle Verzerrungen aufweisen – die kontextuelle Repräsentation eines Tokens wird stark von Tokens beeinflusst, die ihm in einem Satz nahe liegen. Wir schlagen eine allgemeine und effektive Verbesserung des BiLSTM-Modells vor, die jeden Suffix und Präfix einer Token-Sequenz sowohl in vorwärts- als auch rückwärtsrichtiger Weise kodiert. Unser Modell nennen wir Suffix-Bidirektionaler LSTM oder SuBiLSTM. Dies führt zu einer alternativen Verzerrung, die langfristige Abhängigkeiten begünstigt. Wir wenden SuBiLSTMs auf mehrere Aufgaben an, die das Modellieren von Sätzen erfordern. Wir zeigen, dass die Verwendung von SuBiLSTM anstelle von BiLSTM in bestehenden Modellen zu Leistungsverbesserungen bei der Lerngeneralisierung von Satzrepräsentationen, Textklassifizierung, textueller Implikation und Paraphrasenerkennung führt. Mit SuBiLSTM erzielen wir neue StandesderTechnik-Ergebnisse für feingranulare Stimmungsanalyse und Frageklassifizierung.