ليست جميع النماذج متساوية: التنبؤ بقابلية نقل النموذج في فضاء فيشر ذاتي التحدي

يتناول هذا البحث مشكلة مهمة تتمثل في تصنيف الشبكات العصبية العميقة المدربة مسبقًا واختيار الأكثر قابلية للنقل لمهام التعلم اللاحقة. تعد هذه المشكلة صعبة لأن تصنيف النماذج الحقيقي لكل مهمة يمكن إنشاؤه فقط من خلال ضبط النماذج المدربة مسبقًا على مجموعة البيانات المستهدفة، وهو أمر يتطلب القوة الحسابية ويكون باهظ الثمن من الناحية الحاسوبية. اقترحت الأساليب المتقدمة الحديثة عدة مقاييس خفيفة للقابلية للنقل لتوقع نتائج الضبط الدقيق. ومع ذلك، فإن هذه الأساليب تقتصر على التقاط التمثيلات الساكنة وتغفل عن ديناميكيات الضبط الدقيق. بهدف معالجة هذا الأمر، يقترح هذا البحث مقاسًا جديدًا للقابلية للنقل يُسمى \textbf{S}elf-challenging \textbf{F}isher \textbf{D}iscriminant \textbf{A}nalysis (\textbf{SFDA})، والذي يتمتع بالعديد من الفوائد الجاذبة التي لا تتوفر في الأعمال السابقة. أولاً، يمكن لـ SFDA تضمين الخصائص الساكنة في فضاء Fisher وتحسينها لتحقيق فصل أفضل بين الفئات. ثانياً، يستخدم SFDA آلية تحدي ذاتي تشجع النماذج المدربة مسبقًا المختلفة على التميز في الأمثلة الصعبة. ثالثاً، يمكن لـ SFDA اختيار عدة نماذج مدربة مسبقًا بسهولة لتكوين مجموعة نماذج (model ensemble). أظهرت التجارب الواسعة على 33 نموذجًا مدربًا مسبقًا لـ 11 مهمة تعلم لاحق أن SFDA فعال وكفوء ومتين عند قياس قابلية النقل للنماذج المدربة مسبقًا. على سبيل المثال، مقارنة بأحدث طريقة NLEEP، يظهر SFDA زيادة بمتوسط 59.1٪ بينما يوفر سرعة تنفيذ تبلغ 22.5 مرة أسرع من حيث الوقت الحقيقي (wall-clock time). سيتم توفير الكود في الرابط التالي: \url{https://github.com/TencentARC/SFDA}.