التعلم بالانتباه المتقاطع المزدوج للتصنيف البصري الدقيق وإعادة تحديد الكائن

في الآونة الأخيرة، أظهرت آليات الانتباه الذاتي أداءً متميزًا في مجموعة متنوعة من المهام المتعلقة معالجة اللغة الطبيعية (NLP) والرؤية الحاسوبية (CV)، حيث تساعد على استخلاص الخصائص التسلسلية واستخلاص المعلومات الشاملة. في هذا العمل، نستكشف كيفية توسيع وحدات الانتباه الذاتي لتحسين تعلم التمثيلات المميزة للسمات، بهدف التعرف على الكائنات الدقيقة، مثل أنواع الطيور المختلفة أو هويات الأشخاص. ولتحقيق ذلك، نقترح خوارزمية تعلم الانتباه المزدوج المتبادل (DCAL) لتعزيز تعلم الانتباه الذاتي. أولاً، نقترح آلية الانتباه المتبادل بين العالمي والمحلي (GLCA) لتعزيز التفاعلات بين الصور العالمية ومناطق الاستجابة العالية المحلية، مما يساعد على تعزيز المؤشرات التمييزية المكانية للتعريف. ثانيًا، نقترح آلية الانتباه المتبادل بين الأزواج (PWCA) لبناء تفاعلات بين أزواج الصور. تُستخدم PWCA لتنظيم تعلم الانتباه لصورة معينة من خلال اعتبار صورة أخرى كمُربِك (distractor)، وتُزال أثناء الاستنتاج. لاحظنا أن DCAL يمكنها تقليل الانتباه المضلِّل، وتوسيع توزيع استجابة الانتباه للكشف عن أجزاء مكملة أكثر لغرض التعرف. أجرينا تقييمات واسعة على مهام التصنيف البصري الدقيق والتعريف بالكائنات. أظهرت التجارب أن DCAL تحقق أداءً مماثلًا لأفضل الطرق الحالية، وتحسّن بشكل متسق على عدة قواعد مبنية على الانتباه الذاتي، مثل تفوقها على DeiT-Tiny وViT-Base بنسبة 2.8% و2.4% على مؤشر mAP في مجموعة بيانات MSMT17 على التوالي.