HyperAIHyperAI

Command Palette

Search for a command to run...

SWAD: التعميم عبر المجال من خلال البحث عن حدود منخفضة مسطحة

Junbum Cha Sanghyuk Chun Kyungjae Lee Han-Cheol Cho Seunghyun Park Yunsung Lee Sungrae Park

الملخص

تهدف أساليب التعميم عبر المجال (Domain Generalization - DG) إلى تحقيق قدرة تعميم فعّالة على مجال مستقبلي غير مرئي، باستخدام فقط بيانات التدريب من المجالات المصدرية. وعلى الرغم من اقتراح عدد كبير من أساليب DG، فإن دراسة حديثة أظهرت أن نهج التقليل التجريبي للخطر (Empirical Risk Minimization - ERM)، الذي يُعد بسيطًا، يحقق أداءً مماثلًا أو حتى أفضل من الأساليب السابقة، وذلك ضمن بروتوكول تقييم عادل يُعرف بـ DomainBed. للأسف، فإن تطبيق ERM مباشرة على دالة خسارة معقدة وغير محدبة يمكن أن يؤدي بسهولة إلى تعميم غير مثالي، وذلك من خلال البحث عن حلول حادة (sharp minima). في هذا البحث، نُظهر نظريًا أن العثور على حلول مسطحة (flat minima) يؤدي إلى تقليل فجوة التعميم عبر المجال. كما نقترح طريقة بسيطة ولكن فعّالة تُسمى Stochastic Weight Averaging Densely (SWAD)، والتي تهدف إلى العثور على حلول مسطحة. تتميز SWAD بأسلوب عشوائي كثيف وواعٍ بالتأقلم الزائد (overfit-aware stochastic weight sampling)، مما يمكّنها من العثور على حلول أكثر مسطحة، وتقليل التأقلم الزائد مقارنةً بـ SWA التقليدية. تُظهر SWAD أداءً من الدرجة الأولى على خمسة معايير لـ DG، تشمل PACS، VLCS، OfficeHome، TerraIncognita، وDomainNet، مع تحقيق ميزة متوسطة قدرها +1.6% بشكل متسق في دقة التعميم خارج المجال. كما قارنا SWAD بأساليب تعميم تقليدية مثل تكبير البيانات (data augmentation) وطرق التماسك (consistency regularization)، لتأكيد أن التحسينات الكبيرة في الأداء ناتجة عن البحث عن حلول مسطحة، وليس عن تحسين القدرة على التعميم داخل المجال. وأخيرًا، تُعد SWAD سهلة التكيّف مع الأساليب الحالية لـ DG دون الحاجة إلى تعديلات، حيث تُحسن الأداء بشكل إضافي عند دمجها مع أي طريقة موجودة لـ DG. يُمكن الاطلاع على الشفرة المصدرية عبر الرابط: https://github.com/khanrc/swad.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp