Recurrent Neural Network-basierter Satzencoder mit gatterter Aufmerksamkeit für die natürlichsprachliche Inferenz

Die RepEval 2017 Shared Task hat das Ziel, Modelle zur Verarbeitung natürlicher Sprache für die Darstellung von Sätzen zu bewerten. Dabei wird ein Satz durch neuronale Netze als Vektor fester Länge dargestellt und die Qualität dieser Darstellung mit einer Aufgabe zur natürlichsprachlichen Inferenz getestet. Dieses Papier beschreibt unser System (alpha), das in der Shared Task sowohl im in-domain Testset (mit einer Genauigkeit von 74,9 %) als auch im cross-domain Testset (ebenfalls mit 74,9 % Genauigkeit) unter den besten platziert wurde. Diese Ergebnisse zeigen, dass das Modell sich gut auf cross-domain Daten verallgemeinern lässt. Unser Modell ist mit einer intrasentenziellen gateten Aufmerksamkeitskomposition ausgestattet, die eine bessere Leistung ermöglicht. Neben der Einreichung unseres Modells für die Shared Task haben wir es auch am Stanford Natural Language Inference (SNLI)-Datensatz getestet. Hier erzielen wir eine Genauigkeit von 85,5 %, was das beste bisher gemeldete Ergebnis am SNLI-Datensatz bei Nicht-Erlaubnis der cross-sentenziellen Aufmerksamkeit darstellt – eine Bedingung, die auch bei RepEval 2017 angewendet wurde.