مجموعة المتوسطات: تحسين اختيار النموذج وتعزيز الأداء في التعميم النطاقي

في بيئات التعميم عبر المجالات (Domain Generalization - DG)، تُظهر النماذج التي تم تدريبها بشكل مستقل على مجموعة معينة من المجالات تدريبًا أداءً فوضويًا جدًا على المجالات الاختبارية التي تشهد تغيرًا في التوزيع، ويلعب التRANDOMية في عملية التحسين (مثل اختيار البذور العشوائية) دورًا كبيرًا في هذا السلوك. هذا يجعل نماذج التعلم العميق غير موثوقة في البيئات الواقعية. نُظهر أولًا أن هذا السلوك الفوضوي يظهر حتى على طول مسار التحسين التدريبي لنموذج واحد، ونُقترح بروتوكولًا بسيطًا لتوسط النماذج (model averaging) يُحسّن بشكل كبير من قدرة التعميم عبر المجالات ويقلل من تأثير التRANDOMية من خلال تحسين الارتباط التصاعدي (rank correlation) بين دقة التحقق داخل المجال (in-domain validation accuracy) ودقة الاختبار خارج المجال (out-domain test accuracy)، وهو ما يُعد أمرًا حاسمًا لتحقيق توقف مبكر موثوق. وباستغلال ملاحظاتنا، نُظهر أنه بدلًا من تجميع النماذج غير المُتوسطة (التي تُعتبر الممارسة الشائعة في الواقع)، فإن تجميع النماذج المتوسطة المتحركة (Moving Average Models) المستمدة من محاولات تدريب مستقلة يُعزز الأداء بشكل أكبر. ونُقدّم شرحًا نظريًا لزيادة الأداء الناتجة عن التجميع والتوسط النموذجي من خلال تكييف مبدأ التنازل بين التحيّز والانحراف (Bias-Variance trade-off) المعروف إلى سياق التعميم عبر المجالات. على معيار DomainBed، وباستخدام نموذج ResNet-50 المُدرّب مسبقًا، يحقق هذا التجميع المتوسط متوسط دقة قدره 68.0٪، ما يتفوق على نموذج ERM القياسي (بدون توسط أو تجميع) بنسبة تقارب 4٪، وعند استخدام نموذج RegNetY-16GF المُدرّب مسبقًا، يُسجّل متوسط دقة قدره 76.6٪، ما يتفوق على ERM القياسي بنسبة 6٪. يُمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/salesforce/ensemble-of-averages.