TrICy: Trigger-gesteuerte Daten-zu-Text-Generierung mit intentionserkennender Aufmerksamkeits-Kopierfunktion

Die Daten-zu-Text (D2T)-Generierung ist eine entscheidende Aufgabe in vielen Anwendungen des maschinellen Verstehens natürlicher Sprache (NLU) und bildet die Grundlage von taskorientierten Dialogsystemen. Im Kontext von konversationsbasierten KI-Lösungen, die direkt mit lokalen Daten auf dem Gerät des Benutzers arbeiten können, sind Architekturen, die große vortrainierte Sprachmodelle (PLMs) nutzen, aufgrund ihres hohen Speicherverbrauchs für die Bereitstellung auf dem Gerät unpraktikabel. Hierfür schlagen wir TrICy vor, einen neuen leichten Framework für eine verbesserte D2T-Aufgabe, das Textsequenzen basierend auf der Absicht im Kontext generiert und zusätzlich durch benutzerdefinierte Trigger geleitet werden kann. Wir nutzen ein Aufmerksamkeits-Kopiermechanismus, um außerhalb des Wortschatzes liegende Wörter (out-of-vocabulary, OOV) präzise vorherzusagen. Leistungsanalysen am E2E NLG-Datensatz (BLEU: 66,43%, ROUGE-L: 70,14%), am WebNLG-Datensatz (BLEU: Gesehen 64,08%, Ungesehen 52,35%) sowie an unserem eigenen benutzerdefinierten Datensatz im Bereich textbasierter Messaginganwendungen zeigen die Effektivität unserer Architektur. Darüber hinaus zeigen wir, dass durch den Einsatz eines optionalen Trigger-Eingangs die Qualität der Daten-zu-Text-Generierung erheblich steigt und einen neuen Stand der Technik (SOTA) von 69,29% BLEU für E2E NLG erreicht wird. Unsere Analysen belegen zudem, dass TrICy mindestens 24% und 3% Verbesserung in BLEU und METEOR gegenüber großen Sprachmodellen wie GPT-3, ChatGPT und Llama 2 erzielt. Wir demonstrieren ferner, dass in bestimmten Szenarien Leistungssteigerungen durch Trigger auch dann zu beobachten sind, wenn diese während des Trainings nicht vorhanden waren.