Multi-Turn-Antwortauswahl für Chatbots mit tiefem Aufmerksamkeitsübereinstimmungsnetzwerk

Menschen generieren Antworten unter Berücksichtigung semantischer und funktionaler Abhängigkeiten, einschließlich der Coreferenzrelation, zwischen Dialogelementen und deren Kontext. In diesem Paper untersuchen wir die Zuordnung einer Antwort zu ihrem mehrschrittigen Kontext unter Verwendung von Abhängigkeitsinformationen, die vollständig auf Aufmerksamkeit basieren. Unsere Lösung wird durch den kürzlich vorgeschlagenen Transformer in der maschinellen Übersetzung (Vaswani et al., 2017) inspiriert, und wir erweitern die Aufmerksamkeitsmechanik auf zwei Weisen. Erstens konstruieren wir Darstellungen von Textsegmenten auf verschiedenen Granularitätsstufen ausschließlich mittels geschachtelter Selbstaufmerksamkeit. Zweitens versuchen wir, tatsächlich korrekte Segmentpaare durch Aufmerksamkeit über Kontext und Antwort zu extrahieren. Wir führen diese beiden Arten von Aufmerksamkeit gemeinsam in einem einheitlichen neuronalen Netzwerk ein. Experimente an zwei großen, mehrschrittigen Aufgaben zur Antwortauswahl zeigen, dass unser vorgeschlagenes Modell die derzeit besten Modelle signifikant übertrifft.