UnifiedSKG: Vereinheitlichung und Multitasking strukturierter Wissensverankerung mit Text-zu-Text-Sprachmodellen

Strukturiertes Wissensverankerung (SKG) nutzt strukturiertes Wissen, um Benutzeranfragen zu bearbeiten, wie z.B. semantisches Parsen über Datenbanken und Fragebeantwortung über Wissensbasen. Da die Eingaben und Ausgaben von SKG-Aufgaben heterogen sind, wurden sie bisher von verschiedenen Fachgemeinschaften getrennt untersucht, was eine systematische und kompatible Forschung auf dem Gebiet der SKG einschränkt. In dieser Arbeit überwinden wir diese Einschränkung durch den Vorschlag des UnifiedSKG-Frameworks, das 21 SKG-Aufgaben in ein Text-zu-Text-Format vereint, mit dem Ziel, die systematische Forschung zu SKG zu fördern, anstatt sich auf eine einzelne Aufgabe, Domäne oder Datensatz zu beschränken. Wir verwenden UnifiedSKG, um T5 in verschiedenen Größen zu evaluieren und zeigen, dass T5 bei notwendigen einfachen Modifikationen fast in allen 21 Aufgaben den aktuellen Stand der Technik erreicht. Wir demonstrieren ferner, dass die mehrfach-aufgabenbasierte Präfixfeinabstimmung die Leistung in den meisten Aufgaben verbessert und insgesamt erheblich die Gesamtleistung steigert. UnifiedSKG erleichtert zudem die Untersuchung von Zero-Shot- und Few-Shot-Lernen und wir zeigen, dass T0, GPT-3 und Codex Schwierigkeiten beim Zero-Shot- und Few-Shot-Lernen für SKG haben. Zudem führen wir mit UnifiedSKG eine Reihe kontrollierter Experimente zur Strukturierung von Wissenscodierungsvarianten über verschiedene SKG-Aufgaben durch. UnifiedSKG ist leicht erweiterbar für weitere Aufgaben und wurde Open Source unter https://github.com/hkunlp/unifiedskg veröffentlicht.