إلى التعلم التلقائي المستدام

على الرغم من التكاليف المتزايدة المتعلقة بالتدريب، فإن معظم نماذج التعلم ذاتي التوجيه (SSL) تم تدريبها مرارًا وتكرارًا من الصفر دون الاستفادة الكاملة منها، حيث يتم استخدام عدد قليل فقط من النماذج الرائدة (SOTAs) في المهام التالية. في هذا العمل، نستكشف إطارًا مستدامًا لـ SSL يواجه تحديين رئيسيين: الأول، تعلّم نموذج SSL جديد أقوى على أساس النموذج المُدرّب مسبقًا (الذي يُسمى نموذج "الأساس") بطريقة اقتصادية؛ والثاني، السماح لتدريب النموذج الجديد بأن يكون متوافقًا مع مختلف نماذج الأساس. نقترح خطةً تُسمى "الهدف المُعزز الشرطي" (TEC)، والتي تضيف مكوّنين إلى نماذج SSL القائمة على إعادة بناء الأقنعة. أولاً، نقترح أهدافًا مُعززة بعلاقة القطع (patch-relation enhanced targets)، التي تُحسّن الهدف المُقدَّم من النموذج الأساسي، وتشجع النموذج الجديد على تعلّم المعرفة المتعلقة بالعلاقة المعنى من النموذج الأساسي باستخدام مدخلات غير كاملة. يُسهم هذا التقوية والتحسين في الهدف في تمكين النموذج الجديد من تجاوز النموذج الأساسي، نظرًا لأنها تفرض نمذجة إضافية للعلاقة بين القطع لمعالجة المدخلات غير الكاملة. ثانيًا، نُقدّم مُعدِّلًا شرطيًا (conditional adapter) يقوم بتعديل تنبؤات النموذج الجديد تلقائيًا لتتوافق مع أهداف النماذج المختلفة الأساسية. أظهرت النتائج التجريبية الواسعة أن خطة TEC تُسرّع من معدل التعلّم، كما تُحسّن النماذج الأساسية الرائدة لـ SSL مثل MAE وiBOT، مما يُمثّل خطوة استكشافية نحو تحقيق مستقبل مستدام لـ SSL.