Multiway Attention Networks zur Modellierung von Satzpaaren

Die Modellierung von Satzpaaren spielt eine entscheidende Rolle bei der Beurteilung der Beziehung zwischen zwei Sätzen, beispielsweise bei der Identifizierung von Paraphrasen, der natürlichen Sprachinferenz und der Auswahl der Antwortsätze. Frühere Arbeiten erzielten mit neuronalen Netzwerken unter Verwendung eines Aufmerksamkeitsmechanismus sehr vielversprechende Ergebnisse. In diesem Paper stellen wir die Multiway-Attention-Netzwerke vor, die mehrere Aufmerksamkeitsfunktionen innerhalb des Rahmenwerks aus Übereinstimmung und Aggregation einsetzen, um Satzpaare zu verknüpfen. Konkret entwerfen wir vier Aufmerksamkeitsfunktionen, um Wörter in entsprechenden Sätzen zu matchen. Anschließend aggregieren wir die Übereinstimmungsinformationen aus jeder Funktion und kombinieren die Informationen aller Funktionen, um die endgültige Darstellung zu erhalten. Experimentelle Ergebnisse zeigen, dass die vorgeschlagenen Multiway-Attention-Netzwerke die Ergebnisse auf den Datensätzen Quora Question Pairs, SNLI, MultiNLI sowie der Aufgabengruppe zur Auswahl von Antwortsätzen auf dem SQuAD-Datensatz verbessern.