الاهتمام السببي
يعد الانتباه السببي (CATT) آلية انتباه مبتكرة تعمل على تحسين قابلية تفسير النموذج وأدائه من خلال دمج الاستدلال السببي، وخاصة في مهام الرؤية واللغة. تم اقتراح هذه الآلية من قبل باحثين من جامعة نانيانغ التكنولوجية وجامعة موناش في أستراليا في عام 2021.الاهتمام السببي لمهام الرؤية واللغة".
الفكرة الأساسية للاهتمام السببي هي استخدام "معيار الباب الأمامي" في الاستدلال السببي لحل مشكلة الارتباط الخاطئ في بيانات التدريب. في آليات الاهتمام الذاتي التقليدية، بسبب نقص الإشراف، قد تتأثر أوزان الاهتمام بتحيز البيانات، مما يتسبب في أن يكون النموذج مضللاً أثناء التفكير. على سبيل المثال، في مهمة وصف الصورة، إذا كان هناك المزيد من مشاهد "الأشخاص الذين يركبون الخيول" مقارنة بـ "الأشخاص الذين يقودون العربات" في بيانات التدريب، فقد يربط النموذج عن طريق الخطأ بين فعل "الركوب" و"الأشخاص" و"الخيول" ويتجاهل وجود "العربات".
ولحل هذه المشكلة اقترح الباحثون آلية الاهتمام السببي، والتي تعمل على تحديد وتقوية التأثيرات السببية من خلال:
- الاهتمام داخل العينة (IS-ATT):قم بإجراء حساب الانتباه ضمن عينة واحدة لتجنب التداخل من العينات الأخرى.
- الانتباه عبر العينات (CS-ATT):إدخال معلومات العينات الأخرى في حساب الانتباه للعينة الحالية، وتقليد تأثير التدخل السببي.
يمكن استخدام هذه الآلية كوحدة قابلة للتوصيل لاستبدال آليات الاهتمام الذاتي الموجودة، مثل وحدة الاهتمام في Transformer. تظهر النتائج التجريبية أن الاهتمام السببي يمكن أن يحسن بشكل كبير أداء النموذج في المهام مثل وصف الصور والإجابة على الأسئلة المرئية.