HyperAIHyperAI

Command Palette

Search for a command to run...

UnifiedSKG: Vereinheitlichung und Multitasking strukturierter Wissensverankerung mit Text-zu-Text-Sprachmodellen

Tianbao Xie; Chen Henry Wu; Peng Shi; Ruiqi Zhong; Torsten Scholak; Michihiro Yasunaga; Chien-Sheng Wu; Ming Zhong; Pengcheng Yin; Sida I. Wang; Victor Zhong; Bailin Wang; Chengzu Li; Connor Boyle; Ansong Ni; Ziyu Yao; Dragomir Radev; Caiming Xiong; Lingpeng Kong; Rui Zhang; Noah A. Smith; Luke Zettlemoyer; Tao Yu

Zusammenfassung

Strukturiertes Wissensverankerung (SKG) nutzt strukturiertes Wissen, um Benutzeranfragen zu bearbeiten, wie z.B. semantisches Parsen über Datenbanken und Fragebeantwortung über Wissensbasen. Da die Eingaben und Ausgaben von SKG-Aufgaben heterogen sind, wurden sie bisher von verschiedenen Fachgemeinschaften getrennt untersucht, was eine systematische und kompatible Forschung auf dem Gebiet der SKG einschränkt. In dieser Arbeit überwinden wir diese Einschränkung durch den Vorschlag des UnifiedSKG-Frameworks, das 21 SKG-Aufgaben in ein Text-zu-Text-Format vereint, mit dem Ziel, die systematische Forschung zu SKG zu fördern, anstatt sich auf eine einzelne Aufgabe, Domäne oder Datensatz zu beschränken. Wir verwenden UnifiedSKG, um T5 in verschiedenen Größen zu evaluieren und zeigen, dass T5 bei notwendigen einfachen Modifikationen fast in allen 21 Aufgaben den aktuellen Stand der Technik erreicht. Wir demonstrieren ferner, dass die mehrfach-aufgabenbasierte Präfixfeinabstimmung die Leistung in den meisten Aufgaben verbessert und insgesamt erheblich die Gesamtleistung steigert. UnifiedSKG erleichtert zudem die Untersuchung von Zero-Shot- und Few-Shot-Lernen und wir zeigen, dass T0, GPT-3 und Codex Schwierigkeiten beim Zero-Shot- und Few-Shot-Lernen für SKG haben. Zudem führen wir mit UnifiedSKG eine Reihe kontrollierter Experimente zur Strukturierung von Wissenscodierungsvarianten über verschiedene SKG-Aufgaben durch. UnifiedSKG ist leicht erweiterbar für weitere Aufgaben und wurde Open Source unter https://github.com/hkunlp/unifiedskg veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
UnifiedSKG: Vereinheitlichung und Multitasking strukturierter Wissensverankerung mit Text-zu-Text-Sprachmodellen | Paper | HyperAI