التركيبات العميقة لتعلم النقل منخفض البيانات

في البيئة ذات البيانات المنخفضة، يصعب تدريب نماذج مراقبة جيدة من الصفر. بدلًا من ذلك، يلجأ الممارسين إلى النماذج المُدرَّبة مسبقًا، مستفيدين من التعلم الناقل. يُعدّ التجميع (Ensembling) طريقةً جذابة من الناحية التجريبية والنظرية لبناء نماذج تنبؤية قوية، لكن النهج السائد المتمثل في تدريب شبكات عميقة متعددة بقيم بدائية عشوائية يتعارض مع الحاجة إلى التعلم الناقل عبر أوزان مُدرَّبة مسبقًا. في هذا العمل، ندرس طرقًا مختلفة لبناء تجميعات من النماذج المُدرَّبة مسبقًا. نُظهر أن طبيعة التدريب المسبق نفسها تمثل مصدرًا فعّالًا للتنوع، ونُقدّم خوارزمية عملية تُمكّن من تحديد مجموعة فرعية من النماذج المُدرَّبة مسبقًا لكل مجموعة بيانات تطبيقية. يتمثل النهج ببساطة في استخدام دقة الجيران الأقرب (Nearest-Neighbour Accuracy) لتصنيف النماذج المُدرَّبة مسبقًا، ثم تدريب النماذج الأفضل بدقة باستخدام مسح صغير للبارامترات، وبناء التجميع بشكل طموح (Greedily) لتقليل التباعد الصنفِي في مجموعة التحقق. عند تقييمه مقابل قواعد معيارية قوية على 19 مهمة تطبيقية مختلفة (مُعيار تكييف المهام البصرية)، يحقق هذا النهج أداءً من الدرجة الأولى (state-of-the-art) بموازنة استهلاك استدلال أقل بكثير، حتى عند الاختيار من أكثر من 2000 نموذج مُدرَّب مسبقًا. كما قُمنا بتقييم تجميعاتنا على نُسخ من ImageNet، ووجدنا تحسنًا في المقاومة لانزياح التوزيع (robustness to distribution shift).