العامة للنطاق من خلال الت régularization بالاعتماد على المعلومات المتبادلة مع النماذج المُدرَّبة مسبقًا

يهدف التعميم النطقي (DG) إلى تعلُّم نموذج عام قادر على الأداء في مجال هدف غير مرئى، باستخدام فقط مجالات مصدر محدودة. فشلت المحاولات السابقة في التعميم النطقي في تعلُّم تمثيلات غير تعتمد على المجال (domain-invariant) من المجالات المصدرية وحدها، وذلك بسبب التغيرات الكبيرة بين المجالات أثناء التدريب والاختبار. بدلًا من ذلك، نعيد صياغة هدف التعميم النطقي باستخدام المعلومات التبادلية مع نموذج مثالي (oracle model)، وهو نموذج تم تعميمه لجميع المجالات الممكنة. ونستنتج حدًّا سفليًّا متغيرًا قابلاً للتطبيق من خلال تقريب النموذج المثالي بنموذج مُدرَّب مسبقًا، وهو ما يُسمَّى بالتنظيم بالمعلومات التبادلية مع النموذج المثالي (MIRO). تُظهر تجاربنا الواسعة أن MIRO يُحسِّن بشكل كبير الأداء خارج التوزيع (out-of-distribution). علاوةً على ذلك، تُظهر تجارب التوسع أن كلما زاد حجم النموذج المُدرَّب مسبقًا، زادت مُعدَّلات تحسين الأداء التي يحققها MIRO. يمكن الوصول إلى الكود المصدري عبر الرابط: https://github.com/kakaobrain/miro.