HyperAIHyperAI
منذ 17 أيام

إلى تعميم المجال الموحّد والفعال

Yiyuan Zhang, Kaixiong Gong, Xiaohan Ding, Kaipeng Zhang, Fangrui Lv, Kurt Keutzer, Xiangyu Yue
إلى تعميم المجال الموحّد والفعال
الملخص

نُقدّم $\textbf{UniDG}$، وهي إطار عمل جديد و$\textbf{مُوحَّد}$ لعامّة المجالات ($\textbf{D}$omain $\textbf{G}$eneralization)، قادر على تحسين أداء النماذج الأساسية في التعميم خارج التوزيع بشكل ملحوظ، بغض النظر عن هيكلها المعماري. تكمن الفكرة الأساسية في UniDG في تدريب النموذج بشكل دقيق (fine-tuning) أثناء مرحلة الاستدلال، مما يقلل من تكاليف التدريب المتكرر. وبشكل محدد، نشجع النماذج على تعلّم توزيع بيانات الاختبار بطريقة غير مراقبة، ونفرض عقوبة تتعلق بعدد خطوات تحديث معاملات النموذج. تُعد هذه العقوبة فعّالة في تقليل مشكلة النسيان الكارثي، حيث نسعى إلى الحفاظ على أقصى قدر ممكن من المعرفة القيّمة المُحتَفَظ بها في النموذج الأصلي. من الناحية التجريبية، أظهرت UniDG تحسّناً متوسّطًا في الدقة بنسبة +5.4% على مجموعة بيانات DomainBed، عبر 12 نموذجًا بنيويًا بصريًا، تشمل نماذج تعتمد على الشبكات العصبية التلافيفية (CNN)، وشبكات التحويل العصبي (MLP)، ونماذج مبنية على المُحَوِّل (Transformer)، وتتراوح أحجامها بين 1.89 مليون و303 مليون معامل. تُظهر هذه النتائج فعالية وملاءمة UniDG على نطاق واسع. يمكن الوصول إلى الكود المصدر بشكل عام عبر الرابط: https://github.com/invictus717/UniDG