الانتباه المكدّس المتقاطع لتطابق الصورة والنص

في هذه الورقة، ندرس مشكلة مطابقة الصورة والنص. استنتاج التوافق الدلالي الخفي بين الأشياء أو العناصر الأخرى البارزة (مثل الثلج، السماء، العشب) والكلمات المقابلة في الجمل يسمح بالتقاط التفاعل الدقيق بين الرؤية واللغة، مما يجعل مطابقة الصورة والنص أكثر قابلية للتفسير. الأعمال السابقة إما تقوم بجمع بسيط لتشابه جميع الأزواج المحتملة من المناطق والكلمات دون مراعاة الاختلافات في أهمية الكلمات أو المناطق، أو تستخدم عملية انتباه متعددة الخطوات لالتقاط عدد محدود من التوافقات الدلالية التي تكون أقل قابلية للتفسير. في هذه الورقة، نقدم انتباهًا مكدسًا متقاطعًا لاكتشاف جميع التوافقات الخفية باستخدام المناطق في الصورة والكلمات في الجملة كسياق وتحديد تشابه الصورة والنص. يحقق نهجنا أفضل النتائج الحالية على مجموعة بيانات MS-COCO وFlickr30K. على Flickr30K، يتفوق نهجنا على أفضل الأساليب الحالية بنسبة 22.1٪ بشكل نسبي في استرجاع النص من استعلام الصورة، وبنسبة 18.2٪ بشكل نسبي في استرجاع الصورة باستعلام النص (بناءً على Recall@1). وعلى MS-COCO، يحسن نهجنا استرجاع الجمل بنسبة 17.8٪ بشكل نسبي واسترجاع الصور بنسبة 16.6٪ بشكل نسبي (بناءً على Recall@1 باستخدام مجموعة الاختبار 5K). تم جعل الكود متاحًا في: https://github.com/kuanghuei/SCAN.