Satzembeddungen in NLI mit iterativen Verfeinerungscodierern

Satzrepräsentationen sind für verschiedene NLP-Aufgaben notwendig. Rekurrente neuronale Netze (RNN) haben sich als sehr effektiv erwiesen, um verteilte Repräsentationen zu lernen, und können effizient auf Aufgaben der natürlichen Sprachinferenz trainiert werden. Wir bauen auf einem solchen Modell auf und schlagen eine Hierarchie aus BiLSTM- und Max-Pooling-Schichten vor, die eine iterative Verfeinerungsstrategie implementiert und erstklassige Ergebnisse im SciTail-Datensatz sowie starke Ergebnisse für SNLI und MultiNLI erzielt. Wir können zeigen, dass die auf diese Weise gelernten Satzrepräsentationen in einer Vielzahl von Transfer-Lernaufgaben genutzt werden können, wobei sie InferSent in 7 von 10 und SkipThought in 8 von 9 SentEval-Satzrepräsentationsevaluierungsaufgaben übertreffen. Darüber hinaus schlägt unser Modell das InferSent-Modell in 8 von 10 kürzlich veröffentlichten SentEval-Probing-Aufgaben, die darauf abzielen, die Fähigkeit von Satzrepräsentationen zu bewerten, einige wichtige linguistische Eigenschaften von Sätzen zu erfassen.