Lernen von natürlicher Sprachfolgerung mit einem bidirektionalen LSTM-Modell und internen Aufmerksamkeit

In dieser Arbeit schlagen wir ein satz-basiertes Modell zur Erkennung von Textentailment vor. Unser Ansatz besteht das Kodieren eines Satzes in einem zweistufigen Prozess. Zunächst wurde durchschnittliches Pooling über wortbasierte bidirektionale LSTMs (biLSTM) angewendet, um eine erste Stufendarstellung des Satzes zu generieren. Anschließend wurde ein Aufmerksamkeitsmechanismus eingesetzt, um das durchschnittliche Pooling auf demselben Satz zu ersetzen und so bessere Darstellungen zu erzielen. Anstelle der Verwendung des Ziel-Satzes, um Wörter im Quell-Satz zu beachten, nutzten wir die erste Stufendarstellung des Satzes, um Wörter in sich selbst zu beachten. Dieser Mechanismus wird in unserer Arbeit als "Inner-Attention" bezeichnet. Experimente am Stanford Natural Language Inference (SNLI)-Korpus haben die Effektivität des "Inner-Attention"-Mechanismus bewiesen. Mit weniger Parametern übertreffen unsere Modelle den bisher besten ansatzbasierten Satzkodierer erheblich.