TripleNet: Dreifache Aufmerksamkeitsnetzwerk für die Mehrfach-Antwortauswahl in Retrieval-basierten Chatbots

Wir betrachten die Bedeutung verschiedener Äußerungen im Kontext für die Auswahl der Antwort, die in der Regel von der aktuellen Abfrage abhängt. In dieser Arbeit schlagen wir das Modell TripleNet vor, um die Aufgabe vollständig mit dem Tripel zu modellieren, anstelle des -Modells aus früheren Arbeiten. Das Kernstück von TripleNet ist ein neuer Aufmerksamkeitsmechanismus namens Dreifach-Aufmerksamkeit (triple attention), der die Beziehungen innerhalb des Tripels auf vier Ebenen modelliert. Der neue Mechanismus aktualisiert die Darstellung jedes Elements basierend auf der Aufmerksamkeit mit den anderen beiden gleichzeitig und symmetrisch. Wir passen das Tripel von der Zeichenebene bis zur Kontextebene an, wobei die Antwort im Zentrum steht, um eine Vorhersage zu treffen. Experimentelle Ergebnisse auf zwei großen multirelationalen Datensätzen zur Auswahl von Antworten zeigen, dass das vorgeschlagene Modell erheblich besser als die bisher besten Methoden abschneidet. Der Quellcode von TripleNet ist unter https://github.com/wtma/TripleNet verfügbar.