HyperAIHyperAI
منذ 2 أشهر

UnifiedSKG: توحيد ومهام متعددة لتوثيق المعرفة المنظمة باستخدام نماذج اللغة النصية إلى النصية

Tianbao Xie; Chen Henry Wu; Peng Shi; Ruiqi Zhong; Torsten Scholak; Michihiro Yasunaga; Chien-Sheng Wu; Ming Zhong; Pengcheng Yin; Sida I. Wang; Victor Zhong; Bailin Wang; Chengzu Li; Connor Boyle; Ansong Ni; Ziyu Yao; Dragomir Radev; Caiming Xiong; Lingpeng Kong; Rui Zhang; Noah A. Smith; Luke Zettlemoyer; Tao Yu
UnifiedSKG: توحيد ومهام متعددة لتوثيق المعرفة المنظمة باستخدام نماذج اللغة النصية إلى النصية
الملخص

يستخدم الإطار المعرفي المهيكل (SKG) المعرفة المهيكلة لإكمال طلبات المستخدم، مثل تحليل الدلالة على قواعد البيانات وتقديم إجابات على أسئلة من خلال قواعد المعرفة. نظرًا لأن مدخلات ومخرجات مهام SKG متنوعة، فقد تم دراستها بشكل منفصل من قبل مجتمعات مختلفة، مما يحد من البحث النظامي والتوافقي حول SKG. في هذا البحث، نتجاوز هذه القيود من خلال اقتراح إطار UnifiedSKG، الذي يوحّد 21 مهمة SKG في صيغة نصية إلى نصية، بهدف تعزيز البحث النظامي في SKG بدلاً من تقييده بمهمة واحدة أو مجال واحد أو مجموعة بيانات واحدة. نقوم باستخدام UnifiedSKG لقياس أداء T5 بحجمه المختلفة ونظهر أن T5، مع التعديلات البسيطة عند الضرورة، يحقق أداءً رائدًا في معظم المهام الـ 21. كما نثبت أن التحسين متعدد المهام يحسن الأداء في معظم المهام، مما يعزز الأداء الشامل بشكل كبير. يساعد الإطار UnifiedSKG أيضًا في دراسة التعلم بدون أمثلة (zero-shot) والتعلم بنموذج قليل الأمثلة (few-shot)، ونظهر أن T0 و GPT-3 و Codex تواجه صعوبات في التعلم بدون أمثلة والتعلم بنموذج قليل الأمثلات لـ SKG. كما نستخدم UnifiedSKG لإجراء سلسلة من التجارب الخاضعة للرقابة على متغيرات ترميز المعرفة المهيكلة عبر مهام SKG. يمكن توسيع الإطار UnifiedSKG بسهولة ليشمل المزيد من المهام وهو متاح كمصدر مفتوح على الرابط https://github.com/hkunlp/unifiedskg.

UnifiedSKG: توحيد ومهام متعددة لتوثيق المعرفة المنظمة باستخدام نماذج اللغة النصية إلى النصية | أحدث الأوراق البحثية | HyperAI