النماذج الكبيرة ذات التعلم التلقائي القوي هي متعلمون شبه مراقبين قويون

إحدى النماذج التعليمية التي تعتمد على التعلم من عدد قليل من الأمثلة المُعلّمة مع الاستفادة القصوى من كمية كبيرة من البيانات غير المُعلّمة هي التدريب المسبق غير المُراقب متبوعًا بالضبط المُراقب. وعلى الرغم من أن هذه النموذج يستخدم البيانات غير المُعلّمة بطريقة غير مُتخصصة للمهمة، فإننا نُظهر أنه فعّال بشكل مُدهش في التعلم شبه المُراقب على مجموعة بيانات ImageNet، على عكس النهج الشائعة في التعلم شبه المُراقب في مجال الرؤية الحاسوبية. ويعتبر عنصرًا محوريًا في نهجنا استخدام شبكات كبيرة (عميقة وواسعة) خلال مرحلة التدريب المسبق والضبط. ونجد أن كلما قل عدد العلامات، زادت فائدة هذا النهج (استخدام البيانات غير المُعلّمة بطريقة غير مُتخصصة للمهمة) من استخدام شبكة أكبر. وبعد عملية الضبط، يمكن تحسين الشبكة الكبيرة وصقلها لتحويلها إلى شبكة أصغر بكثير مع فقدان ضئيل في دقة التصنيف، وذلك باستخدام الأمثلة غير المُعلّمة مرة ثانية، ولكن بطريقة مُتخصصة للمهمة. يمكن تلخيص الخوارزمية المقترحة للتعلم شبه المُراقب في ثلاث خطوات: التدريب المسبق غير المُراقب لنموذج ResNet كبير باستخدام SimCLRv2، والضبط المُراقب على عدد قليل من الأمثلة المُعلّمة، ثم عملية الصقل باستخدام الأمثلة غير المُعلّمة لتحسين ونقل المعرفة المُتخصصة للمهمة. وتحقيق هذا الإجراء دقة تصنيف تبلغ 73.9% في ImageNet (الدقة العليا الأولى) باستخدام فقط 1% من العلامات (أقل من 13 صورة مُعلّمة لكل فئة) باستخدام ResNet-50، ما يمثل تحسنًا بنسبة 10 أضعاف في كفاءة استخدام العلامات مقارنة بأفضل النماذج السابقة. وبالاستخدام 10% من العلامات، يحقق نموذج ResNet-50 المدرب باستخدام طريقة لدينا دقة أعلى تبلغ 77.5% في التصنيف الأولي، متفوقًا على التدريب المُراقب القياسي الذي يستخدم جميع العلامات.