HyperAIHyperAI

Command Palette

Search for a command to run...

التعلم المراقب المتناقض

Prannay Khosla Piotr Teterwak Chen Wang Aaron Sarna Yonglong Tian Phillip Isola Aaron Maschinot Ce Liu Dilip Krishnan

الملخص

شهد التعلم المتناقض، عند تطبيقه على التعلم التمثيلي ذاتي التدريب (self-supervised representation learning)، تطورًا ملحوظًا في السنوات الأخيرة، مما أدى إلى أداء متميز على مستوى الحد الأقصى في تدريب نماذج الصور العميقة دون تسمية. تتفوق الطرق الحديثة القائمة على الحزم (batch contrastive) على الخسائر المتناقضة التقليدية مثل خسارة الثلاثيات (triplet)، وخسارة الحد الأقصى للهوة (max-margin)، وخسارة الأزواج (N-pairs)، أو تُضاهيها بشكل كبير. في هذا العمل، نوسع نهج التعلم المتناقض القائم على الحزم إلى البيئة المُعلَّمة بالكامل (fully-supervised)، مما يمكّننا من الاستفادة الفعالة من معلومات التسمية. حيث يتم سحب مجموعات النقاط التي تنتمي إلى نفس الفئة نحو بعضها البعض في فضاء التمثيل (embedding space)، في الوقت نفسه يتم دفع مجموعات العينات المنتمية إلى فئات مختلفة بعيدًا عن بعضها. قمنا بتحليل نسختين محتملتين لخسارة التعلم المتناقض المُعلَّم (Supervised Contrastive - SupCon)، وحددنا الصيغة الأفضل أداءً لهذه الخسارة. على نموذج ResNet-200، حققنا دقة أعلى بنسبة 81.4% على مجموعة بيانات ImageNet، أي بزيادة قدرها 0.8% مقارنة بأعلى نتيجة مُبلغ عنها سابقًا لهذا المعمارية. كما أظهرت الخسارة تفوقًا مستمرًا على خسارة التفاضل العشوائي (cross-entropy) على مجموعة متنوعة من البيانات، ونوعين من نماذج ResNet. وتُظهر الخسارة مزايا في المقاومة للتشوهات الطبيعية، كما أنها أكثر استقرارًا أمام تغيرات المعلمات الفائقة مثل خوارزميات التحسين (optimizers) وتقنيات التحويلات التدريبية (data augmentations). إن دالة الخسارة التي نقترحها بسيطة في التنفيذ، وتم إصدار رمز مرجع لمنصة TensorFlow عبر الرابط: https://t.ly/supcon.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp