HyperAIHyperAI

Command Palette

Search for a command to run...

Semantisch konditionierte Dialogantwortgenerierung durch hierarchische disentangelte Selbstaufmerksamkeit

Wenhu Chen†, Jianshu Chen‡, Pengda Qin¶, Xifeng Yan† and William Yang Wang†

Zusammenfassung

Die semantisch kontrollierte Generierung neuronaler Antworten in begrenzten Domänen hat ausgezeichnete Ergebnisse erzielt. Allerdings zeigt sich, dass der Übergang zu mehrdomänigen Szenarien von großem Umfang schwierig ist, da die möglichen Kombinationen semantischer Eingaben mit der Anzahl der Domänen exponentiell wachsen. Um dieses Skalierungsproblem zu lindern, nutzen wir die Struktur von Dialogakten, um einen mehrschichtigen hierarchischen Graphen aufzubauen, bei dem jeder Akt als Route vom Wurzelknoten zum Blattknoten im Graphen dargestellt wird. Anschließend integrieren wir diese graphische Struktur als induktive Verzerrung, um ein hierarchisches entkoppeltes Selbst-Aufmerksamkeitsnetzwerk zu erstellen, bei dem wir Aufmerksamkeitsköpfe entkoppeln, um bestimmte Knoten im Dialogaktgraphen zu modellieren. Durch die Aktivierung verschiedener (entkoppelter) Köpfe in jeder Schicht können kombinatorisch viele Dialogaktsemantiken modelliert werden, um die neuronale Antwortgenerierung zu steuern. In der großen Multi-Domain-WOZ-Datensammlung kann unser Modell signifikante Verbesserungen gegenüber den Baselines bei verschiedenen automatischen und menschlichen Bewertungsmaßstäben erzielen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp