HyperAIHyperAI

Command Palette

Search for a command to run...

الإخفاء يلتقي بالإشراف: تحالف تعليمي قوي

Byeongho Heo Taekyung Kim Sangdoo Yun Dongyoon Han

الملخص

أصبح التدريب المسبق باستخدام إدخالات مُقنّعة عشوائيًا اتجاهًا جديدًا في التدريب ذاتي القيادة. ومع ذلك، لا يزال التدريب المراقب يواجه تحديًا في اعتماد تقنيات التحويل بالقناع (masking augmentations)، وذلك بشكل رئيسي بسبب عدم استقرار التدريب. في هذه الورقة، نقترح طريقة جديدة لدمج تقنيات التحويل بالقناع تُسمى "الفرع الفرعي المقنع" (Masked Sub-branch، أو MaskSub). يتكوّن MaskSub من فرع رئيسي وفرع فرعي، حيث يُعد الفرع الفرعي جزءًا من الفرع الرئيسي. يخضع الفرع الرئيسي لطرق التدريب التقليدية، بينما يُخضع الفرع الفرعي لتقنيات تحويل قناع مكثفة أثناء التدريب. تُعالج طريقة MaskSub هذا التحدي من خلال تقليل الآثار السلبية باستخدام دالة خسارة مُرخية تشبه دالة الخسارة المستوحاة من التعلم الذاتي (self-distillation loss). تُظهر تحليلاتنا أن MaskSub يُحسّن الأداء، مع تقارب أسرع لخسارة التدريب مقارنة بالتدريب القياسي، مما يشير إلى أن طريقة العمل هذه تُعزز استقرار عملية التدريب. كما نقوم بتوثيق أداء MaskSub عبر سيناريوهات تدريب متنوعة وأنماط نموذجية، بما في ذلك تدريب DeiT-III، وتحسين نموذج MAE، وتحسين نموذج CLIP، وتدريب BERT، بالإضافة إلى الهياكل الهرمية (مثل ResNet وSwin Transformer). تُظهر النتائج أن MaskSub يحقق تحسينات ملحوظة ومستمرة في الأداء في جميع الحالات. تُعد MaskSub حلًا عمليًا وفعالًا لإدخال تحسينات إضافية في الت régularization تحت مختلف أساليب التدريب. يمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/naver-ai/augsub


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp