HyperAIHyperAI

Command Palette

Search for a command to run...

حماية أزواج بارلو من التفرع الزائد باستخدام عينات مختلطة

Wele Gedara Chaminda Bandara Celso M. De Melo Vishal M. Patel

الملخص

يهدف التعلم الذاتي (SSL) إلى تعلُّم تمثيلات مميزة قابلة للنقل لتطبيقات ما بعد التدريب دون الاعتماد على بيانات مُصنَّفة. يُعد خوارزمية Barlow Twins، المعروفة باعتمادها الواسع وسهولة تنفيذها مقارنة بخوارزميات أخرى مثل طرق التعلم التبايني، إلى تقليل التكرار في الميزات مع تعزيز التماثل تجاه التشويهات الشائعة. وعند التحسين لتحقيق هذا الهدف، يُجبر الشبكة على تعلُّم تمثيلات مفيدة، مع تجنُّب الميزات الضوضائية أو الثابتة، مما يؤدي إلى تحسين الأداء في المهام ما بعد التدريب مع تكييف محدود. وعلى الرغم من الفعالية المثبتة لـ Barlow Twins في التدريب المسبق، فإن الهدف الأساسي للتعلم الذاتي يمكن أن يؤدي بشكل غير مقصود إلى تعلُّم مفرط (Overfitting) في الميزات، بسبب ضعف التفاعل بين العينات مقارنة بطرق التعلم التبايني. من خلال تجاربنا، لاحظنا أن تحسين الهدف الخاص بـ Barlow Twins لا يضمن بالضرورة تحسينًا مستمرًا في جودة التمثيلات بعد مرحلة معينة من التدريب المسبق، وقد يؤدي في بعض الأحيان إلى تدهور الأداء في المهام ما بعد التدريب على بعض المجموعات. لمعالجة هذه التحديات، نقدّم "Barlow Twins المختلط" (Mixed Barlow Twins)، والذي يهدف إلى تحسين التفاعل بين العينات أثناء تدريب Barlow Twins من خلال استخدام عينات مُعدّلة خطيًا. هذا يُنتج حدًا إضافيًا للتنظيم (Regularization Term) في الهدف الأصلي لـ Barlow Twins، بافتراض أن التداخل الخطي في الفضاء المدخلات يُترجم إلى تداخل خطي في الفضاء الميزات. ويُعد التدريب المسبق باستخدام هذا التحكم الفعّال يقلل من تعلُّم الميزات المفرط، ويعزز الأداء في المهام ما بعد التدريب على مجموعات بيانات مثل CIFAR-10 وCIFAR-100 وTinyImageNet وSTL-10 وImageNet. يمكن الوصول إلى الكود والنقاط المحفوظة من خلال الرابط التالي: https://github.com/wgcban/mix-bt.git


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp