HyperAIHyperAI

Command Palette

Search for a command to run...

تحسين المُتوسّط التوافقي للوزن يُحسّن التَّعْلِيم المُتَعَلِّم تحت التحول النطاقي

Valeriy Berezovskiy Nikita Morozov

الملخص

تُعد تقنية تبادل المعرفة (Knowledge Distillation - KD) تقنية قوية لضغط النماذج، وتُستخدم على نطاق واسع في التطبيقات العملية للتعلم العميق. وتركز هذه التقنية على تدريب شبكة صغيرة تُسمى "الطالب" لمحاكاة شبكة أكبر تُعرف بـ"المعلم". وعلى الرغم من أن من المعروف على نطاق واسع أن تقنية تبادل المعرفة تُحسّن من قدرة الطالب على التعميم في البيئة التي تتبع توزيعًا مستقلًا ومتماثلًا (i.i.d)، إلا أن أداء الشبكة الطالبة عند حدوث تغير في المجال (domain shift)، أي أداء الشبكة على بيانات من مجالات لم تُراها أثناء التدريب، لم يُلقَ اهتمامًا كافيًا في الأدبيات السابقة. في هذا البحث، نخطو خطوة نحو تكامل مجالي تبادل المعرفة وعامة المجالات (domain generalization). ونُظهر أن تقنيات متوسط الوزن (weight averaging) التي طُرحت في أبحاث عامة المجالات، مثل SWAD وSMA، تُحسّن أيضًا من أداء تبادل المعرفة في ظل تغير المجال. بالإضافة إلى ذلك، نقترح استراتيجية مبسطة لتقنيات متوسط الوزن لا تتطلب تقييمًا على بيانات التحقق خلال التدريب، ونُظهر أن أداؤها يُعادل أداء SWAD وSMA عند تطبيقها على تبادل المعرفة. ونُسمّي النهج النهائي لتبادل المعرفة الذي نقترحه: "تبادل المعرفة المُتوسّط بالوزن" (Weight-Averaged Knowledge Distillation - WAKD).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تحسين المُتوسّط التوافقي للوزن يُحسّن التَّعْلِيم المُتَعَلِّم تحت التحول النطاقي | مستندات | HyperAI