إعادة التفكير في الإطار ذو المرحلتين للاعتراف بالوضعية المبنية على الأدلة

التعرف على الوضع المحدد (GSR)، أي التعرف على الفئة النشطة البارزة (أو الفعل) في صورة (مثل، الشراء) وكشف جميع الأدوار الدلالية المرتبطة بها (مثل، الفاعل والبضائع)، هو خطوة أساسية نحو فهم الحدث بطريقة "تشبه البشر". نظرًا لأن كل فعل مرتبط بمجموعة معينة من الأدوار الدلالية، فإن جميع الأساليب الموجودة لـ GSR تعتمد على إطار عمل ذو مرحلتين: التنبؤ بالفعل في المرحلة الأولى وكشف الأدوار الدلالية في المرحلة الثانية. ومع ذلك، هناك عيوب واضحة في كلا المرحلتين:1) خسارة التربيع العرضي (XE) الشائعة الاستخدام للتعرف على الأشياء غير كافية في تصنيف الأفعال بسبب التنوع الكبير داخل الفئات والتشابه العالي بين الفئات المختلفة للأنشطة اليومية.2) يتم كشف جميع الأدوار الدلالية بطريقة ذاتية الانحدار، مما يفشل في نمذجة العلاقات الدلالية المعقدة بين الأدوار المختلفة.من أجل هذا، نقترح طريقة جديدة تسمى SituFormer لـ GSR تتكون من نموذج فعل خشن إلى دقيق (CFVM) ونموذج اسم Transformer (TNM). يتألف CFVM من خطوتين للتنبؤ بالفعل: أولاً، يتم تدريب نموذج خشن باستخدام خسارة XE لاقتراح مجموعة من مرشحي الأفعال، ثم يتم إعادة ترتيب هذه المرشحين باستخدام نموذج دقيق تم تدريبه بخسارة triplet مع تعزيز ميزات الفعل (ليست فقط قابلة للتفريق ولكن أيضًا تمييزية). أما TNM فهو نموذج كشف أدوار دلالية يستند إلى Transformer، حيث يتم كشف جميع الأدوار بشكل متوازي. بفضل قدرة محكمة فك الرموز في Transformer على نمذجة العلاقات العالمية والمرونة التي توفرها، يمكن لـ TNM استكشاف الارتباط الإحصائي للأدوار بشكل كامل. أظهرت الاختبارات الواسعة على معيار SWiG الصعب أن SituFormer حقق أداءً جديدًا يتفوق على أفضل ما سبق مع مكاسب كبيرة تحت مختلف المقاييس. يمكن الحصول على الكود من الرابط التالي: https://github.com/kellyiss/SituFormer.