SWAD: التعميم عبر المجال من خلال البحث عن حدود منخفضة مسطحة

تهدف أساليب التعميم عبر المجال (Domain Generalization - DG) إلى تحقيق قدرة تعميم فعّالة على مجال مستقبلي غير مرئي، باستخدام فقط بيانات التدريب من المجالات المصدرية. وعلى الرغم من اقتراح عدد كبير من أساليب DG، فإن دراسة حديثة أظهرت أن نهج التقليل التجريبي للخطر (Empirical Risk Minimization - ERM)، الذي يُعد بسيطًا، يحقق أداءً مماثلًا أو حتى أفضل من الأساليب السابقة، وذلك ضمن بروتوكول تقييم عادل يُعرف بـ DomainBed. للأسف، فإن تطبيق ERM مباشرة على دالة خسارة معقدة وغير محدبة يمكن أن يؤدي بسهولة إلى تعميم غير مثالي، وذلك من خلال البحث عن حلول حادة (sharp minima). في هذا البحث، نُظهر نظريًا أن العثور على حلول مسطحة (flat minima) يؤدي إلى تقليل فجوة التعميم عبر المجال. كما نقترح طريقة بسيطة ولكن فعّالة تُسمى Stochastic Weight Averaging Densely (SWAD)، والتي تهدف إلى العثور على حلول مسطحة. تتميز SWAD بأسلوب عشوائي كثيف وواعٍ بالتأقلم الزائد (overfit-aware stochastic weight sampling)، مما يمكّنها من العثور على حلول أكثر مسطحة، وتقليل التأقلم الزائد مقارنةً بـ SWA التقليدية. تُظهر SWAD أداءً من الدرجة الأولى على خمسة معايير لـ DG، تشمل PACS، VLCS، OfficeHome، TerraIncognita، وDomainNet، مع تحقيق ميزة متوسطة قدرها +1.6% بشكل متسق في دقة التعميم خارج المجال. كما قارنا SWAD بأساليب تعميم تقليدية مثل تكبير البيانات (data augmentation) وطرق التماسك (consistency regularization)، لتأكيد أن التحسينات الكبيرة في الأداء ناتجة عن البحث عن حلول مسطحة، وليس عن تحسين القدرة على التعميم داخل المجال. وأخيرًا، تُعد SWAD سهلة التكيّف مع الأساليب الحالية لـ DG دون الحاجة إلى تعديلات، حيث تُحسن الأداء بشكل إضافي عند دمجها مع أي طريقة موجودة لـ DG. يُمكن الاطلاع على الشفرة المصدرية عبر الرابط: https://github.com/khanrc/swad.