ميتا دروبأوت: التعلم من إحداث اضطراب في الميزات الخفية لتحقيق التعميم

يجب أن يحقق نموذج التعلم الآلي الذي يتمتع بقدرة تعميم جيدة أخطاء منخفضة على أمثلة الاختبار غير المرئية. وبالتالي، إذا تمكنّا من معرفة كيفية إجراء اضطرابات مثالية على أمثلة التدريب لتعويض أمثلة الاختبار، فقد نحقق أداءً أفضل في التعميم. ومع ذلك، فإن الحصول على مثل هذه الاضطرابات غير ممكن في الإطارات القياسية للتعلم الآلي، نظرًا لعدم معرفتنا بتوزيع بيانات الاختبار. لمواجهة هذا التحدي، نقترح طريقة ت régularization جديدة تُسمى "ميتا-دروبيت" (meta-dropout)، التي تتعلم كيفية إجراء اضطرابات على السمات المخفية لأمثلة التدريب من أجل التعميم ضمن إطار التعلم الميتا. وبشكل محدد، نتعلم ميتاً (meta-learn) مولّد ضوضاء يُخرِج توزيعًا للضوضاء الضربية على السمات المخفية، بهدف تحقيق أخطاء منخفضة على أمثلة الاختبار بطريقة تعتمد على المدخلات. ثم، يمكن لمولّد الضوضاء المُدرَّب أن يُضَيِّق أمثلة التدريب الخاصة بمهمات غير مرئية في وقت الميتا-اختبار، مما يؤدي إلى تحسين التعميم. وقد تم التحقق من صحة طريقتنا على مجموعات بيانات تصنيف قليلة الأمثلة (few-shot classification)، حيث أظهرت النتائج أن الطريقة تُحسّن بشكل كبير أداء التعميم للنموذج الأساسي، وتتفوّق بشكل كبير على أساليب الت régularization الحالية مثل حافة المعلومات (information bottleneck) ومانيفولد ميكس أب (manifold mixup) ودروبيت المعلوماتي (information dropout).