HyperAIHyperAI
vor 2 Monaten

Ein zerlegbares Aufmerksamkeitsmodell für natürliche Sprachinferenz

Ankur P. Parikh; Oscar Täckström; Dipanjan Das; Jakob Uszkoreit
Ein zerlegbares Aufmerksamkeitsmodell für natürliche Sprachinferenz
Abstract

Wir schlagen eine einfache neuronale Architektur für die natürliche Sprachinferenz vor. Unser Ansatz verwendet Aufmerksamkeit (Attention), um das Problem in Unterprobleme zu zerlegen, die getrennt gelöst werden können, was die parallele Ausführung trivial macht. Bei der Verwendung des Stanford Natural Language Inference (SNLI)-Datensatzes erzielen wir Stand-des-Wissens-Ergebnisse mit fast einem Größenordnung weniger Parametern als frühere Arbeiten und ohne auf Informationen zur Wortreihenfolge zurückzugreifen. Die Hinzufügung von innerhalb-sätzlicher Aufmerksamkeit, die ein Minimum an Reihenfolge berücksichtigt, führt zu weiteren Verbesserungen.