HyperAIHyperAI

Command Palette

Search for a command to run...

تحسين التعلم المقابل يعزز مرونة النموذج في ظل ضوضاء التسمية

Aritra Ghosh Andrew Lan

الملخص

التصنيفات القائمة على الشبكات العصبية العميقة التي تُدرَّب باستخدام خسارة التباين الفئوي (CCE) تكون حساسة لوجود أخطاء في التسميات ضمن بيانات التدريب. تُعد إحدى الطرق الشائعة لتقليل تأثير هذه الأخطاء من نوع الطرق الصلبة المُرشَّدة (supervised robust methods)، حيث يمكن ببساطة استبدال خسارة CCE بخسارة مقاومة لعدم الدقة في التسميات، أو إعادة توزين أمثلة التدريب وتقليل الأوزان الخاصة بالعينات التي تُظهر قيم خسارة أعلى. في الآونة الأخيرة، تم اقتراح نوع آخر من الطرق باستخدام التعلم شبه المراقب (SSL)، والذي يُعدّل هذه الطرق الصلبة المُرشَّدة للاستفادة بشكل أكثر فعالية من العينات التي قد تكون ملوثة بخطأ في التسمية. وعلى الرغم من أن الطرق الصلبة المُرشَّدة تُظهر أداءً جيدًا عبر أنواع مختلفة من البيانات، إلا أن الدراسات أظهرت أنها تتفوّت الطرق التي تعتمد على التعلم شبه المراقب في مهام تصنيف الصور عندما تكون التسميات ملوثة. لذلك، لا يزال من غير الواضح ما إذا كانت هذه الطرق الصلبة المُرشَّدة قادرة على تحقيق أداء متميز إذا تمكّنت من الاستفادة بشكل أفضل من العينات غير المُسمّاة. في هذه الورقة، نُظهر أنه من خلال تهيئة الطرق الصلبة المُرشَّدة باستخدام تمثيلات تم تعلّمها عبر التعلم التمييزي (contrastive learning)، يمكن تحقيق تحسين كبير في الأداء تحت ظروف وجود أخطاء في التسميات. وربما يكون من المُفاجئ أن حتى أبسط طريقة (تدريب فاصل باستخدام خسارة CCE) يمكنها التفوق على أفضل طريقة حالية تعتمد على التعلم شبه المراقب بنسبة تزيد عن 50% في حالات ارتفاع نسبة الأخطاء في التسميات، شريطة تهيئة النموذج باستخدام التعلم التمييزي. سيتم إتاحة تنفيذنا بشكل عام على الرابط: {\url{https://github.com/arghosh/noisy_label_pretrain}}.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp