HyperAIHyperAI
منذ 17 أيام

التقييم الواقعى لتعلم القليل المُحَوَّل

Olivier Veilleux, Malik Boudiaf, Pablo Piantanida, Ismail Ben Ayed
التقييم الواقعى لتعلم القليل المُحَوَّل
الملخص

يُستخدم الاستنتاج التحويلي (Transductive inference) على نطاق واسع في التعلم القليل العينات (few-shot learning)، حيث يستفيد من الإحصائيات الخاصة بمجموعة الاستعلام غير المصنفة في مهمة التعلم القليل، وغالبًا ما يؤدي إلى أداء أفضل بشكل ملحوظ مقارنةً ببدائله الاستنتاجية (inductive). تُستخدم في المعايير الحالية للتعلم القليل عينات مهام متوازنة تمامًا من حيث الفئات أثناء الاستدلال. ونُجادل بأن هذه الانتظام الاصطناعي غير واقعي، إذ يفترض أن احتمالات التصنيف الحدية للعينات المختبرة معروفة ومحددة مسبقًا لتوزيع منتظم (uniform distribution). في الواقع، في السيناريوهات الواقعية، تأتي مجموعات الاستعلام غير المصنفة بحدود تصنيفية عشوائية ومجهولة. نقدّم وندرس تأثير التوزيعات الفئوية العشوائية داخل مجموعات الاستعلام في مهام التعلم القليل أثناء الاستدلال، مُزيلين بذلك التحيّز الناتج عن التوازن الفئوي. وبشكل خاص، نُصوّر احتمالات الحدود الفئوية كمتغيرات عشوائية تتبع توزيع ديريشليه (Dirichlet-distributed random variables)، مما يُتيح عينة منطقية وواقعية ضمن المُثلث (simplex). ونُوظّف هذه الطريقة لتوسيع المعايير الحالية للتعلم القليل، وبناء مهام اختبار بتوافيق فئوية عشوائية. وقد قمنا بتقييم منهجيات الاستنتاج التحويلي الرائدة من حيث الأداء تجريبيًا على ثلاث مجموعات بيانات شائعة الاستخدام، ولاحظنا، بشكل مفاجئ، انخفاضًا كبيرًا في الأداء، بل وتراجعًا حتى تحت الطرق الاستنتاجية في بعض الحالات. علاوةً على ذلك، نقترح تعميمًا لدالة الخسارة القائمة على المعلومات المتبادلة (mutual-information loss)، مبنيًا على انحرافات $α$-divergences، التي يمكنها التعامل بكفاءة مع التغيرات في توزيع الفئات. ونُظهر تجريبيًا أن تحسيننا القائم على الانحرافات $α$-divergence في السياق التحويلي يتفوق على أفضل الطرق الحالية عبر عدة مجموعات بيانات، ونماذج، وأوضاع تعلم قليل عينات. ويُتاح كودنا بشكل عام على الرابط: https://github.com/oveilleux/Realistic_Transductive_Few_Shot.

التقييم الواقعى لتعلم القليل المُحَوَّل | أحدث الأوراق البحثية | HyperAI