HyperAIHyperAI

Command Palette

Search for a command to run...

التعلم النشط متعدد الوسائط مع التوافق الذاتي المكمل

Yang Qin Yuan Sun Dezhong Peng Joey Tianyi Zhou Xi Peng Peng Hu

الملخص

في الآونة الأخيرة، جذب مطابقة الصور والنصوص المزيد والمزيد من الاهتمام من الأوساط الأكاديمية والصناعية، وهو ما يشكل أساسًا لفهم التوافق الضمني بين الوسائط البصرية والنصية. ومع ذلك، فإن معظم الأساليب الحالية تفترض ضمنيًا أن أزواج التدريب متناسقة بشكل جيد بينما تتجاهل الضوضاء الشائعة في التسميات، المعروفة أيضًا بالتوافق الضوضائي (Noisy Correspondence - NC)، مما يؤدي حتماً إلى انخفاض الأداء. رغم محاولات بعض الأساليب معالجة هذا النوع من الضوضاء، إلا أنها لا تزال تواجه مشكلتين صعبتين: الإفراط في الحفظ/التكييف الزائد وتصحيح غير موثوق للتوافق الضوضائي (NC)، خاصة تحت مستويات عالية من الضوضاء.لحل هاتين المشكلتين، نقترح إطارًا عامًا للم aprendizaje complementario robusto متعدد الوسائط (Cross-modal Robust Complementary Learning - CRCL)، والذي يستفيد من خسارة تعلم فعالة جديدة ومكملة (Active Complementary Loss - ACL) ومن تصحيح ذاتي فعال للتوافق (Self-refining Correspondence Correction - SCC) لتحسين متانة الأساليب الحالية. بصفة خاصة، تستغل ACL الخسائر النشطة والمكملة لتعلم لتقليل خطر تقديم إشراف خاطئ، مما يؤدي إلى متانة نظرية وتجريبية ضد التوافق الضوضائي (NC). أما SCC فيستخدم عمليات ذاتية متعددة للتكرار مع تصحيح الزخم لتوسيع المجال المستقبل للتصحيحات، مما يساعد على تخفيف تراكم الأخطاء ويحقق تصحيحات دقيقة ومستقرة. قمنا بإجراء العديد من التجارب الموسعة على ثلاثة مقاييس لمطابقة الصور والنصوص، وهي Flickr30K وMS-COCO وCC152K، للتحقق من المتانة الفائقة لـ CRCL ضد التوافق الضوضائي المصنع والواقعي.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التعلم النشط متعدد الوسائط مع التوافق الذاتي المكمل | مستندات | HyperAI