Wissensbasen mit Transformer kontextualisieren für end-to-end-Aufgabenorientierte Dialogsysteme

Die Integration von Wissensbasen (KB) in end-to-end aufgabenorientierte Dialogsysteme ist herausfordernd, da eine angemessene Darstellung der KB-Entitäten erforderlich ist, die sowohl mit ihrem KB-Kontext als auch mit dem Dialogkontext verknüpft sind. Die bestehenden Ansätze stellen die Entität lediglich anhand eines Teils ihres KB-Kontexts dar, was aufgrund von Informationsverlust zu einer weniger effektiven Repräsentation führen kann und somit die KB-Reasoning- und Antwortgenerierung negativ beeinflusst. Um dieses Problem anzugehen, erforschen wir eine vollständige Kontextualisierung der Entitätsrepräsentation durch dynamische Wahrnehmung aller relevanten Entitäten sowie der Dialoggeschichte. Dazu schlagen wir einen COntext-aware Memory Enhanced Transformer-Framework (COMET) vor, der die KB als Folge behandelt und eine neuartige Memory-Maske nutzt, um sicherzustellen, dass die Entität sich ausschließlich auf relevante Entitäten und die Dialoggeschichte konzentriert, während sie von irrelevanten Entitäten abgelenkt wird. Durch umfangreiche Experimente zeigen wir, dass unser COMET-Framework eine überlegene Leistung im Vergleich zu den aktuellen State-of-the-Art-Methoden erzielt.