المتحولات التعاونية للاعتراف بالوضع المحدد

التعرف على الحالة المثبتة هو مهمة التنبؤ بالنشاط الرئيسي، والكيانات التي تلعب أدوارًا معينة ضمن هذا النشاط، وتحديد حدود الكيانات في الصورة المعطاة. لمعالجة هذه المهمة الصعبة بشكل فعال، نقدم نهجًا جديدًا حيث تكون عملية تصنيف النشاط وتقدير الكيانات تفاعلية ومكملة لبعضها البعض. لتحقيق هذا الفكرة، نقترح نظام Collaborative Glance-Gaze TransFormer (CoFormer) الذي يتكون من وحدتين: Glance transformer لتصنيف النشاط و Gaze transformer لتقدير الكيانات. يتنبأ Glance transformer بالنشاط الرئيسي بمساعدة Gaze transformer الذي يقوم بتحليل الكيانات والعلاقات بينها، بينما يقدر Gaze transformer الكيانات المثبتة عن طريق التركيز فقط على الكيانات ذات الصلة بالنشاط الذي تم التنبؤ به بواسطة Glance transformer. حقق نظامنا CoFormer أفضل الأداء في جميع مقاييس التقييم على مجموعة بيانات SWiG. يمكن الوصول إلى كود التدريب وأوزان النموذج عبر الرابط https://github.com/jhcho99/CoFormer.