التعميم عبر المجال باستخدام النماذج المُدرّبة مسبقًا الكبيرة مع خليط من المُعالِجات المُخصّصة

إن تعلم نماذج رؤية قوية تؤدي بأداء جيد في الظروف غير الموزعة (OOD) يُعد مهمة مهمة لتطبيق النماذج في البيئات الواقعية. وعلى الرغم من الأبحاث الواسعة في هذا المجال، فإن العديد من الطرق المقترحة أظهرت تحسينات أداء ضئيلة مقارنة بالنهج الأبسط لتصغير المخاطر التجريبية (ERM)، الذي تم تقييمه على معيار مع مساحة محدودة للبحث عن القيم المثلى للبارامترات. يتركز تركيزنا في هذه الدراسة على استغلال المعرفة المتوفرة في النماذج الكبيرة المُدرَّبة مسبقًا لتحسين التعامل مع السيناريوهات OOD وحل مشكلات التعميم عبر المجالات. ومع ذلك، أظهرت الأبحاث السابقة أن التخصيص العشوائي للنموذج الكبير المُدرَّب مسبقًا قد يُضعف مقاومة النموذج في الظروف OOD. ولذلك، نستخدم تقنيات التخصيص الفعّالة من حيث المعلمات (PEFT) لحفظ مقاومة النموذج OOD بشكل فعّال أثناء التعامل مع النماذج الكبيرة. تؤكد تجاربنا الواسعة والتحليلات التي أجريناها أن أكثر الطرق فعالية تتضمن تجميع نماذج متنوعة وزيادة حجم التدريب المسبق. وبفضل ذلك، نحقق أداءً متفوقًا على المستوى الحالي في مهام التعميم عبر المجالات. يمكن الوصول إلى الكود وصفحة المشروع عبر: https://cvlab-kaist.github.io/MoA