Was fragen Fragen genau? MFAE: Identifikation doppelter Fragen mit Multi-Fusion-Aufmerksamkeit auf die Fragestellung

Die Identifikation doppelter Fragen (Duplicate Question Identification, DQI) verbessert die Verarbeitungseffizienz und Genauigkeit von großen Community-Frage-Antwort-Systemen sowie automatischen Frage-Antwort-Systemen. Das Ziel der DQI-Aufgabe besteht darin, zu erkennen, ob zwei Fragen semantisch äquivalent sind. Allerdings bleibt es weiterhin herausfordernd, Synonyme oder Homonyme innerhalb von Fragepaaren zu unterscheiden. Die meisten bisherigen Ansätze konzentrieren sich auf semantische Unterschiede auf Wort- oder Phrasenebene. Wir schlagen erstmals vor, die Frage-Ausrichtung (asking emphasis) als einen entscheidenden Faktor für die DQI zu betrachten. Die Frage-Ausrichtung vermittelt die semantische Äquivalenz zwischen zwei Fragen. In diesem Artikel präsentieren wir ein Aufmerksamkeitsmodell mit multiplen, fusionierten Frage-Ausrichtungen (Multi-fusion Asking Emphasis, MFAE) für die DQI. Zunächst werden mit BERT dynamische, vortrainierte Wort-Embeddings erzeugt. Anschließend werden inter- und intra- Frage-Ausrichtungen durch Summierung der Inter-Aufmerksamkeit und Selbst-Aufmerksamkeit gewonnen; die Grundidee hierbei ist, dass ein Wort umso wichtiger ist, je stärker es mit anderen Wörtern interagiert. Schließlich werden acht verschiedene Kombinationen verwendet, um multi-fusionierte Frage-Ausrichtungen und multi-fusionierte Wortrepräsentationen zu generieren. Experimentelle Ergebnisse zeigen, dass unser Modell sowohl auf den Datensätzen Quora Question Pairs als auch CQADupStack eine state-of-the-art-Leistung erzielt. Zudem verbessert unser Modell auch die Ergebnisse für die Aufgabe der natürlichen Sprachinferenz auf den SNLI- und MultiNLI-Datensätzen. Der Quellcode ist unter https://github.com/rzhangpku/MFAE verfügbar.