التعلم الميتا المُجزَّأ للتصنيف التسلسلي للعينات القليلة
{Chin-Yew Lin Tiejun Zhao Börje F. Karlsson Jieru Lin Huiqiang Jiang Qianhui Wu Tingting Ma}
الملخص
التسمية التسلسلية القليلة الأمثل (Few-shot sequence labeling) هي صيغة عامة للمشكلات في مهام فهم اللغة الطبيعية في السيناريوهات التي تعاني من نقص البيانات، حيث تتطلب النماذج التعميم على أنواع جديدة باستخدام فقط أمثلة مُعلَّمة قليلة. اعتمد التقدم الأخير بشكل رئيسي على التعلم التكراري القائم على المقاييس، مما يعرّضه للتحديات المتعلقة بتمثيل النموذج الأولي المتنوع (Other) وعجزه عن التعميم على الفئات ذات الفجوات الكبيرة في المجال. لتجاوز هذه التحديات، نقترح إطارًا مُفصَّلًا للتعلم التكراري للتسمية التسلسلية القليلة، والذي يُفكِّك المهمة إلى مهام التحديد القليلة الأمثل للذكر (few-shot mention detection) والتصنيف القليل الأمثل للنوع (few-shot type classification)، ويتعامل معها تسلسليًا من خلال التعلم التكراري. بشكل محدد، نستخدم التعلم التكراري المُعتمد على النموذج (MAML) لتحفيز نموذج تحديد الذكر على تعلُّم المعرفة المتعلقة بالحدود المشتركة بين الأنواع. وباستخدام النطاقات المحددة للذكر، نُكمل بعدها باستخدام شبكة النموذج الأولي على مستوى النطاق (span-level prototypical network) المُحسَّنة بواسطة MAML لإجراء التصنيف القليل الأمثل للنوع. بهذه الطريقة، يتجنب الإطار المُفصَّل متطلبات تمثيل النموذج الأولي المتنوع (Other). في الوقت نفسه، يمكّن استخدام خوارزمية MAML من استكشاف المعرفة المحتوية في الأمثلة الداعمة بشكل أكثر كفاءة، مما يتيح لنموذجنا التكيف السريع مع أنواع جديدة باستخدام عدد قليل جدًا من الأمثلة المُعلَّمة. ضمن هذا الإطار، نستعرض تنفيذًا أساسيًا يستخدم نموذجين منفصلين لكل مهمة فرعية. كما نقترح نموذجًا مُشتركًا لتقليل حجم النموذج ووقت الاستنتاج، مما يجعل إطارنا أكثر ملاءمة للسيناريوهات التي تفتقر إلى الموارد. أظهرت تجارب واسعة على تسع مجموعات بيانات معيارية، تشمل التعرف على الكيانات الاسمية، وتمييز الحقول (slot tagging)، وكشف الحوادث، وتمييز الأجزاء النحوية، أن النهج المقترح يحقق أداءً متفوقًا على مستوى الريادة في مختلف مهام التسمية التسلسلية القليلة الأمثل.
المعايير القياسية
| معيار قياسي | المنهجية | المقاييس |
|---|---|---|
| few-shot-ner-on-few-nerd-inter | DecomposedMetaSL | 10 way 1~2 shot: 55.61±0.32 10 way 5~10 shot: 67.85±0.18 5 way 1~2 shot: 62.09±0.93 5 way 5~10 shot: 71.26±0.15 Average: 63.99 |
| few-shot-ner-on-few-nerd-intra | DecomposedMetaSL | 10 way 1~2 shot: 43.03±0.29 10 way 5~10 shot: 57.58±0.26 5 way 1~2 shot: 49.90±0.33 5 way 5~10 shot: 64.36±0.20 Average: 53.72 |
| pos-tagging-on-twitter-pos | DecomposedMetaSL | Accuracy: 81.01±0.15 |
| pos-tagging-on-wsj-pos | DecomposedMetaSL | Accuracy: 91.78±0.21 |
| slot-filling-on-snips | DecomposedMetaSL | F1 (1-shot) avg: 74.89 F1 (5-shot) avg: 84.54 |
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.