إطار بسيط لتعلم التمثيلات البصرية بالمقارنة

يقدم هذا البحث إطار عمل بسيط يُسمى SimCLR لتعلم التمثيلات البصرية بطريقة تضادية. نقوم بتقديم خوارزميات تعلم ذاتي تضادي تم اقتراحها حديثًا بشكل مبسط دون الحاجة إلى هياكل متخصصة أو بنك ذاكرة. من أجل فهم ما يمكّن مهام التنبؤ التضادي من تعلم تمثيلات مفيدة، ندرس بشكل منهجي المكونات الرئيسية لاطار العمل الخاص بنا. نوضح أن (1) تركيب عمليات زيادة البيانات يلعب دورًا حاسمًا في تعريف مهام التنبؤ الفعالة، (2) إدخال تحويل غير خطي قابل للتعلم بين التمثيل والخسارة التضادية يحسن بشكل كبير جودة التمثيلات المُتعلمة، و(3) يفيد التعلم التضادي من أحجام دفع أكبر وأكثر خطوات تدريب مقارنة بالتعلم الإشرافي. عن طريق الجمع بين هذه النتائج، نتمكن من تحقيق أداء أفضل بكثير من الطرق السابقة للتعلم الذاتي والتعلم شبه الإشرافي على ImageNet. يصل تصنيف الخطي المُدرب على التمثيلات الذاتية التي تعلمها SimCLR إلى دقة 76.5% في المركز الأول، وهو ما يمثل تحسينًا بنسبة 7% مقارنة بأفضل ما كان معروفًا سابقًا، مما يطابق أداء ResNet-50 الإشرافي. عند التعديل الدقيق باستخدام 1% فقط من العلامات، نحقق دقة 85.8% في المركز الخامس، مما يتفوق على AlexNet باستخدام عدد أقل بمقدار 100 مرة من العلامات.