HyperAIHyperAI

Command Palette

Search for a command to run...

إلى التعلم التلقائي المستدام

Shanghua Gao Pan Zhou Ming-Ming Cheng Shuicheng Yan

الملخص

على الرغم من التكاليف المتزايدة المتعلقة بالتدريب، فإن معظم نماذج التعلم ذاتي التوجيه (SSL) تم تدريبها مرارًا وتكرارًا من الصفر دون الاستفادة الكاملة منها، حيث يتم استخدام عدد قليل فقط من النماذج الرائدة (SOTAs) في المهام التالية. في هذا العمل، نستكشف إطارًا مستدامًا لـ SSL يواجه تحديين رئيسيين: الأول، تعلّم نموذج SSL جديد أقوى على أساس النموذج المُدرّب مسبقًا (الذي يُسمى نموذج "الأساس") بطريقة اقتصادية؛ والثاني، السماح لتدريب النموذج الجديد بأن يكون متوافقًا مع مختلف نماذج الأساس. نقترح خطةً تُسمى "الهدف المُعزز الشرطي" (TEC)، والتي تضيف مكوّنين إلى نماذج SSL القائمة على إعادة بناء الأقنعة. أولاً، نقترح أهدافًا مُعززة بعلاقة القطع (patch-relation enhanced targets)، التي تُحسّن الهدف المُقدَّم من النموذج الأساسي، وتشجع النموذج الجديد على تعلّم المعرفة المتعلقة بالعلاقة المعنى من النموذج الأساسي باستخدام مدخلات غير كاملة. يُسهم هذا التقوية والتحسين في الهدف في تمكين النموذج الجديد من تجاوز النموذج الأساسي، نظرًا لأنها تفرض نمذجة إضافية للعلاقة بين القطع لمعالجة المدخلات غير الكاملة. ثانيًا، نُقدّم مُعدِّلًا شرطيًا (conditional adapter) يقوم بتعديل تنبؤات النموذج الجديد تلقائيًا لتتوافق مع أهداف النماذج المختلفة الأساسية. أظهرت النتائج التجريبية الواسعة أن خطة TEC تُسرّع من معدل التعلّم، كما تُحسّن النماذج الأساسية الرائدة لـ SSL مثل MAE وiBOT، مما يُمثّل خطوة استكشافية نحو تحقيق مستقبل مستدام لـ SSL.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
إلى التعلم التلقائي المستدام | مستندات | HyperAI