تعلم الانتباه المضاد للواقع لتصنيف الصور الدقيق وإعادة التعرف عليها

أظهرت آلية الانتباه (Attention Mechanism) إمكانات كبيرة في مهام التعرف البصري الدقيق. في هذا البحث، نقدم طريقة تعلم انتباه مضادة للواقع (Counterfactual Attention Learning) لتعلم انتباه أكثر فعالية بناءً على الاستدلال السببي (Causal Inference). على عكس معظم الطرق الحالية التي تتعلم الانتباه البصري بناءً على الإمكانية التقليدية (Conventional Likelihood)، نقترح تعلم الانتباه باستخدام السببية المضادة للواقع، والتي توفر أداة لقياس جودة الانتباه وإشارة إشراف قوية لتوجيه عملية التعلم. بشكل خاص، نحلل تأثير الانتباه البصري المتعلم على التنبؤات الشبكية من خلال التدخل المضاد للواقع ونقوم بتعظيم هذا التأثير لتحفيز الشبكة على تعلم انتباه أكثر فائدة للتعرف البصري الدقيق على الصور. عمليًا، نقيم طرقنا على مجموعة واسعة من مهام التعرف الدقيق حيث يلعب الانتباه دورًا حاسمًا، بما في ذلك تصنيف الصور الدقيق (Fine-grained Image Categorization)، إعادة تحديد الشخص (Person Re-identification)، وإعادة تحديد المركبات (Vehicle Re-identification). يثبت التحسن المستمر في جميع المقاييس أن طرقنا فعالة. يمكن الحصول على الكود من الرابط: https://github.com/raoyongming/CAL