HyperAIHyperAI

Command Palette

Search for a command to run...

بالمقابلة للتقسيم: التدريب المسبق ذاتي التحفيز لتعلم مع تسميات ضوضائية

Evgenii Zheltonozhskii Chaim Baskin Avi Mendelson Alex M. Bronstein Or Litany

الملخص

ينجح أداء أساليب التعلم باستخدام العلامات الملوثة (LNL) بشكل كبير على نجاح مرحلة التسخين (warm-up)، حيث يتم تنفيذ التدريب المراقب القياسي باستخدام مجموعة التدريب الكاملة (الملوثة). في هذه الورقة، نحدد ما يُسمى بـ "عائق التسخين": عدم قدرة مراحل التسخين القياسية على تدريب مستخرجات ميزات عالية الجودة، وتجنب تذكر العلامات الملوثة. نقترح إطارًا بسيطًا يُسمى "المقارنة للانقسام" (Contrast to Divide - C2D)، الذي يحل هذه المشكلة من خلال تدريب مسبق لمستخرج الميزات بطريقة ذاتية-مراقبة (self-supervised). يُعزز التدريب المسبق الذاتي-المراقبة أداء الأساليب الحالية لـ LNL من خلال تقليل التأثر الكبير بمستوى الضوضاء في مرحلة التسخين، وتقصير مدة هذه المرحلة، وتحسين جودة الميزات المستخرجة. يعمل إطار C2D بشكل مباشر مع الأساليب الحالية، ويُظهر تحسنًا ملحوظًا في الأداء، خاصة في البيئات ذات مستوى الضوضاء العالي، حيث نحصل على زيادة تزيد عن 27% في دقة CIFAR-100 مع 90% من العلامات الملوثة مقارنةً بأفضل أداء سابق. في سياقات ضوضاء واقعية، يتفوق C2D المدرب على mini-WebVision على الأداء السابق في كلا مجموعتي التحقق WebVision وImageNet بـ 3% في دقة التصنيف الأولى (top-1). نقوم بتحليل معمق للإطار، بما في ذلك دراسة أداء مختلف أساليب التدريب المسبق، وتقدير الحد الأقصى الفعّال لأداء LNL باستخدام التعلم شبه المراقب. يمكن الوصول إلى الكود المطلوب لإعادة إنتاج التجارب عبر الرابط: https://github.com/ContrastToDivide/C2D


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp