الانتباه التكافلي مع المعلومات المميزة لتمييز الأفعال الذاتية

التعرف على الفيديو المركزي حول الذات هو بيئة اختبار طبيعية لاستدلال التفاعلات المتنوعة. نظرًا للمفردات الحركية الكبيرة في مجموعات بيانات الفيديو المركزي حول الذات، فإن الدراسات الحديثة عادةً ما تستفيد من هيكل ذو فرعين للاعتراف بالحركات، أي فرع واحد للتصنيف الفعلي (الفعل) وفرع آخر للتصنيف الشيئي (المفعول). ومع ذلك، تم تجاهل دراسات الارتباط بين فرعي الفعل والمفعول إلى حد كبير. بالإضافة إلى ذلك، يفشل الفرعين في استغلال الخصائص المحلية بسبب عدم وجود آلية انتباه تدرك الموقع. في هذا البحث، نقترح إطارًا جديدًا للانتباه التكافلي الذي يستفيد من المعلومات المميزة (SAP) للتعرف على الفيديو المركزي حول الذات. يمكن أن تسهل خصائص الكشف عن الأشياء التي تدرك الموقع بشكل أفضل فهم تفاعل الممثل مع الجسم. نقدم هذه الخصائص في التعرف على الحركة ونعتبرها معلومات مميزة. يمكّن إطارنا من التواصل المتبادل بين فرع الفعل وفرع المفعول والمعلومات المميزة. لا يقتصر هذا العملية التواصلية على حقن التفاصيل المحلية في الخصائص العالمية فحسب، بل تستغل أيضًا الإرشاد الضمني عن موقع الجسم الزماني-المكاني خلال الحركة الجارية. نقدم انتباهًا تكافليًا جديدًا (SA) لتمكين التواصل الفعال. أولاً، يقوم SA بتطبيع خصائص الكشف المرشدة في أحد الفرعين لتسليط الضوء على المعلومات ذات الصلة بالحركة من الفرع الآخر. يعمل SA على تعزيز التفاعلات بين المصادر الثلاثة بشكل متكيف. لتعزيز هذا التواصل بشكل أكبر، يتم كشف العلاقات المكانية لاختيار المعلومات الأكثر صلة بالحركة. حيث يقوم بتحديد الخاصية الأكثر قيمة وتفرقةً للتصنيف. نتحقق من فعالية SAP لدينا بشكل كمي وكيفي. وبشكل ملحوظ، فإنه يحقق أعلى مستوى تقني حتى الآن على مجموعتين كبيرتين لمجموعات بيانات الفيديو المركزي حول الذات.