HyperAIHyperAI

Command Palette

Search for a command to run...

QT-DoG: التدريب المُدرك للكمّية للعامة النطاقية

Saqib Javed Hieu Le Mathieu Salzmann

الملخص

يهدف التعميم على المجال (Domain Generalization (DG)) إلى تدريب نماذج تؤدي بأداء جيد ليس فقط على مجالات التدريب (المجالات المصدرية)، ولكن أيضًا على توزيعات بيانات هدف جديدة وغير مُشاهدَة. ويمثل التحدي الرئيسي في DG هو منع التكيف المفرط مع المجالات المصدرية، والذي يمكن تخفيفه من خلال العثور على مناطق مسطحة (flatter minima) في هندسة دالة الخسارة. في هذه الدراسة، نقترح طريقة تُسمى التدريب المُدرك للترميز (Quantization-aware Training for Domain Generalization (QT-DoG))، ونُظهر أن ترميز الأوزان يؤدي فعّالاً إلى تحقيق مناطق مسطحة في هندسة دالة الخسارة، مما يعزز التعميم على المجالات. على عكس الطرق التقليدية لتقليل الحجم (model compression) التي تركز على تقليل حجم النموذج، يستغل QT-DoG الترميز كعامل تنظيم ضمني من خلال إدخال ضجيج (noise) في أوزان النموذج، مما يوجه عملية التحسين نحو مناطق مسطحة تكون أقل حساسية للتغيرات الصغيرة والتأقلم المفرط. ونقدم إشارات نظرية ودليلًا تجريبيًا يُظهر أن الترميز يشجع بشكل جوهري على ظهور مناطق مسطحة، ما يؤدي إلى تحسين التعميم عبر المجالات. علاوةً على ذلك، وبفضل فائدة تقليل حجم النموذج الناتجة عن الترميز، نُظهر أن تجميع عدة نماذج مُرمَّزة يحقق دقة أعلى من الطرق الرائدة في مجال التعميم على المجالات، دون أي تكلفة إضافية من حيث الحوسبة أو الذاكرة. وتشير تجاربنا الواسعة إلى أن QT-DoG يُظهر أداءً متفوقًا عبر مجموعة متنوعة من مجموعات البيانات والهياكل المعمارية وتقنيات الترميز، ويمكن دمجه مع طرق أخرى في التعميم على المجالات، مما يؤكد مرونته وقوته المقاومة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp