HyperAIHyperAI

Command Palette

Search for a command to run...

الانتباه المكدّس المتقاطع لتطابق الصورة والنص

Kuang-Huei Lee; Xi Chen; Gang Hua; Houdong Hu; Xiaodong He

الملخص

في هذه الورقة، ندرس مشكلة مطابقة الصورة والنص. استنتاج التوافق الدلالي الخفي بين الأشياء أو العناصر الأخرى البارزة (مثل الثلج، السماء، العشب) والكلمات المقابلة في الجمل يسمح بالتقاط التفاعل الدقيق بين الرؤية واللغة، مما يجعل مطابقة الصورة والنص أكثر قابلية للتفسير. الأعمال السابقة إما تقوم بجمع بسيط لتشابه جميع الأزواج المحتملة من المناطق والكلمات دون مراعاة الاختلافات في أهمية الكلمات أو المناطق، أو تستخدم عملية انتباه متعددة الخطوات لالتقاط عدد محدود من التوافقات الدلالية التي تكون أقل قابلية للتفسير. في هذه الورقة، نقدم انتباهًا مكدسًا متقاطعًا لاكتشاف جميع التوافقات الخفية باستخدام المناطق في الصورة والكلمات في الجملة كسياق وتحديد تشابه الصورة والنص. يحقق نهجنا أفضل النتائج الحالية على مجموعة بيانات MS-COCO وFlickr30K. على Flickr30K، يتفوق نهجنا على أفضل الأساليب الحالية بنسبة 22.1٪ بشكل نسبي في استرجاع النص من استعلام الصورة، وبنسبة 18.2٪ بشكل نسبي في استرجاع الصورة باستعلام النص (بناءً على Recall@1). وعلى MS-COCO، يحسن نهجنا استرجاع الجمل بنسبة 17.8٪ بشكل نسبي واسترجاع الصور بنسبة 16.6٪ بشكل نسبي (بناءً على Recall@1 باستخدام مجموعة الاختبار 5K). تم جعل الكود متاحًا في: https://github.com/kuanghuei/SCAN.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp