HyperAIHyperAI
منذ 17 أيام

التعلم القليل بالاعتماد على لابلاس

Imtiaz Masud Ziko, Jose Dolz, Eric Granger, Ismail Ben Ayed
التعلم القليل بالاعتماد على لابلاس
الملخص

نُقدّم طريقة استنتاج مُتَحَوِّلَة (transductive) مُنظَّمة بمعيار لابلاس (Laplacian-regularized inference) للوظائف ذات عدد قليل من الأمثلة (few-shot tasks). بالاعتماد على أي تمثيل ميزة (feature embedding) تم تعلّمه من الفئات الأساسية، نُقلّل دالة تعيين ثنائية تربيعية تحتوي على حدين: (1) حد أحادي (unary term) يُعيّن عينات الاستعلام إلى أقرب نموذج فئوي (class prototype)، و(2) حد زوجي (pairwise Laplacian term) يشجّع العينات القريبة في الاستعلام على الحصول على تعيينات لصيقة للعلامات (consistent label assignments). يُعدّ الاستنتاج المُتَحَوِّلَة الذي نقترحه لا يتطلب إعادة تدريب النموذج الأساسي، ويمكن اعتباره نوعًا من تجميع الرسوم البيانية (graph clustering) لمجموعة الاستعلام، مع الالتزام بقيود التوجيه (supervision constraints) الناتجة عن مجموعة الدعم (support set). استنتجنا مُحسِّنًا فعّالًا حسابيًا لحدّ تقييد (bound optimizer) لنسخة مُبسطة (relaxation) من دالتنا، والذي يقوم بتحديثات مستقلة (متوازية) لكل عينة استعلام، مع ضمان التقارب. بعد تدريب بسيط باستخدام دالة الخطأ العشوائي (cross-entropy) على الفئات الأساسية، وبلا الحاجة إلى استراتيجيات تعليم متعددة معقدة (meta-learning)، أجرينا تجارب شاملة على خمسة معايير (benchmarks) للتعلم القائم على عدد قليل من الأمثلة. وقد أظهرت طريقة "LaplacianShot" أداءً متفوّقًا بشكل ملحوظ على أحدث الطرق في مختلف النماذج والإعدادات والبيانات. علاوةً على ذلك، فإن استنتاجنا المُتَحَوِّلَة سريع جدًا، حيث تبلغ أوقات الحساب قريبة جدًا من أوقات الاستنتاج المُوجَّه (inductive inference)، ويمكن استخدامها في المهام القائمة على عدد قليل من الأمثلة على نطاق واسع.

التعلم القليل بالاعتماد على لابلاس | أحدث الأوراق البحثية | HyperAI