شبكة تلافيفية ديناميكية موجهة بالانتباه لتمييز الصور متعددة العلامات

الدراسات الحديثة غالباً ما تستغل شبكات التجميع الرسومية (GCN) لنمذجة اعتماديات التسميات بهدف تحسين دقة التعرف على الصور ذات التسميات المتعددة. ومع ذلك، قد يؤدي بناء الرسم البياني عن طريق عد إمكانية وجود التسميات معاً في بيانات التدريب إلى تدهور قابلية تعميم النموذج، خاصة عندما تكون هناك أشياء تتواجد مع بعضها بشكل متقطع في صور الاختبار. هدفنا هو القضاء على هذا الانحياز وتعزيز روبستية الخصائص المُتعلمة. لهذا الغرض، نقترح شبكة تجميع رسومية ديناميكية مدفوعة بالانتباه (ADD-GCN) لتوليد رسم بياني خاص لكل صورة بشكل ديناميكي. تعتمد ADD-GCN على شبكة تجميع رسومية ديناميكية (D-GCN) لنمذجة العلاقة بين تمثيلات الفئات التي تعتمد على المحتوى والمُنتجة بواسطة وحدة الانتباه الدلالي (SAM). أظهرت التجارب الواسعة على مقاييس متعددة للتسميات من المصادر العامة فعالية طريقتنا، حيث حققت معدلات mAP بلغت 85.2٪، 96.0٪، و95.5٪ على MS-COCO، VOC2007، وVOC2012 على التوالي، وأفضلت الأساليب الحالية الأكثر تقدماً بهامش واضح. يمكن العثور على جميع الأكواد في https://github.com/Yejin0111/ADD-GCN.