Semantisch konditionierte Dialogantwortgenerierung durch hierarchische disentangelte Selbstaufmerksamkeit

Die semantisch kontrollierte Generierung neuronaler Antworten in begrenzten Domänen hat ausgezeichnete Ergebnisse erzielt. Allerdings zeigt sich, dass der Übergang zu mehrdomänigen Szenarien von großem Umfang schwierig ist, da die möglichen Kombinationen semantischer Eingaben mit der Anzahl der Domänen exponentiell wachsen. Um dieses Skalierungsproblem zu lindern, nutzen wir die Struktur von Dialogakten, um einen mehrschichtigen hierarchischen Graphen aufzubauen, bei dem jeder Akt als Route vom Wurzelknoten zum Blattknoten im Graphen dargestellt wird. Anschließend integrieren wir diese graphische Struktur als induktive Verzerrung, um ein hierarchisches entkoppeltes Selbst-Aufmerksamkeitsnetzwerk zu erstellen, bei dem wir Aufmerksamkeitsköpfe entkoppeln, um bestimmte Knoten im Dialogaktgraphen zu modellieren. Durch die Aktivierung verschiedener (entkoppelter) Köpfe in jeder Schicht können kombinatorisch viele Dialogaktsemantiken modelliert werden, um die neuronale Antwortgenerierung zu steuern. In der großen Multi-Domain-WOZ-Datensammlung kann unser Modell signifikante Verbesserungen gegenüber den Baselines bei verschiedenen automatischen und menschlichen Bewertungsmaßstäben erzielen.