HyperAIHyperAI
منذ 2 أشهر

التعلم الميتا القائم على التدرج مع مقياس طبقي مُتَعَلِّم وفراغ فرعي

Yoonho Lee; Seungjin Choi
التعلم الميتا القائم على التدرج مع مقياس طبقي مُتَعَلِّم وفراغ فرعي
الملخص

تستند طرق التعلم الميتا القائمة على التدرج إلى الانحدار التدرجي لتعلم المشتركات بين المهام المختلفة. رغم نجاح الطرق السابقة في مهام التعلم الميتا، فإنها تتجه إلى استخدام الانحدار التدرجي البسيط أثناء الاختبار الميتا. يكمن إسهامنا الرئيسي في شبكة {\em MT-net}، التي تمكن المتعلم الميتا من تعلم فضاء جزئي لكل طبقة من فضاءات تنشيطاتها، حيث يقوم المتعلم ذو الخصوصية بالمهمة بإجراء الانحدار التدرجي على هذا الفضاء الجزئي. بالإضافة إلى ذلك، يقوم المتعلم ذو الخصوصية للمهمة في شبكة {\em MT-net} بإجراء الانحدار التدرجي وفقًا لمقياس المسافة الذي تم تعلمه ميتاً، مما يحور فضاء التنشيط ليكون أكثر حساسية لهوية المهمة. نوضح أن بعد هذا الفضاء الجزئي الذي تم تعلمه يعكس تعقيد مهمة توافق المتعلم ذو الخصوصية للمهمة، وأن نموذجنا أقل حساسية للاختيار الأولي لمعدلات التعلم مقارنة بالطرق السابقة القائمة على التدرج في التعلم الميتا. يصل أسلوبنا إلى أداء رائد أو مماثل لأداء أفضل الأساليب في مهام تصنيف وإرجاع قليل الإطارات (few-shot).