HyperAIHyperAI

Command Palette

Search for a command to run...

التعلم مع التوائم الضوضائية للتوافق عبر الوسائط

Xi Peng Hua Wu Xinyan Xiao Wenbiao Ding Xiao Liu guocheng niu Zhenyu Huang

الملخص

التوافق عبر الوسائط، الذي يهدف إلى إقامة علاقة تقابل بين وسائط مختلفة، يُعد أساسياً لعدد كبير من المهام مثل استرجاع البيانات عبر الوسائط وفهم الرؤية واللغة. وعلى الرغم من أن عددًا هائلاً من الأساليب الخاصة بالتوافق عبر الوسائط قد تم اقتراحها وحقق تقدماً ملحوظاً في السنوات الأخيرة، فإن جميع هذه الأساليب تقريباً تفترض ضمنياً أن بيانات التدريب متعددة الوسائط مُحاذاة بشكل صحيح. ومع ذلك، فإن هذه الافتراضات غير واقعية في الممارسة العملية، بل تكون مكلفة للغاية وحتى مستحيلة التحقيق أحيانًا. استناداً إلى هذه الملاحظة، نكشف عن اتجاه خفي وصعب في مجال التوافق عبر الوسائط، يُعرف بـ"التوافق غير الدقيق"، والذي يمكن اعتباره نموذجاً جديداً للعلامات الخاطئة. على عكس العلامات الخاطئة التقليدية التي تشير في الغالب إلى أخطاء في علامات الفئات، فإن "التوافق غير الدقيق" يشير إلى أزواج من العينات غير المطابقة. ولحل هذه المشكلة الجديدة، نقترح طريقة مبتكرة للتعلم مع التوافق غير الدقيق، تُسمى "مُصلح التوافق غير الدقيق" (NCR). وبشكل موجز، تقوم NCR بتقسيم البيانات إلى مجموعتين: نظيفة ومشوهة، استناداً إلى تأثير الذاكرة في الشبكات العصبية، ثم تقوم بتصحيح التوافق من خلال نموذج تنبؤي تكيفي بطريقة تدريس متبادل (co-teaching). ولإثبات فعالية طريقة我们的، أجرينا تجارب باستخدام مطابقة الصور والنصوص كمثال توضيحي. وقد أكدت التجارب الواسعة على مجموعات بيانات Flickr30K وMS-COCO وConceptual Captions فعالية طريقة نحن. يمكن الوصول إلى الشفرة من خلال الموقع: www.pengxi.me.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التعلم مع التوائم الضوضائية للتوافق عبر الوسائط | مستندات | HyperAI