شبكة العلاقة بين الممثل والسياق والممثل لتحديد موقع الحركة المكانية والزمانية

تحديد الأشخاص وتعرف على أفعالهم من الفيديوهات هو مهمة صعبة نحو فهم الفيديو على مستوى عالٍ. تم تحقيق تقدم كبير مؤخرًا من خلال نمذجة العلاقات الزوجية المباشرة بين الكيانات. في هذا البحث، نخطو خطوة إضافية، حيث لا نقوم فقط بنمذجة العلاقات المباشرة بين الأزواج بل نأخذ أيضًا في الاعتبار العلاقات غير المباشرة من الرتب العليا التي تُبنى على عدة عناصر. نقترح نمذجة العلاقة بين الممثل-السياق-الممثل (Actor-Context-Actor Relation)، وهي العلاقة بين ممثلين اثنين استنادًا إلى تفاعلاتهما مع السياق. لهذا الغرض، قمنا بتصميم شبكة علاقة الممثل-السياق-الممثل (ACAR-Net) التي تعتمد على مشغل جديد لنمذجة العلاقات من الرتب العليا وبنك خصائص الممثل-السياق لتمكين التفكير في العلاقات غير المباشرة لتحديد الأفعال الزمانية والمكانية. أظهرت التجارب على مجموعات البيانات AVA و UCF101-24 مزايا نمذجة علاقات الممثل-السياق-الممثل، وتأكد ذلك بشكل أكبر من خلال تصور خرائط الانتباه التي أكدت أن نموذجنا قادر على العثور على علاقات ذات رتب عليا ذات صلة لدعم كشف الأفعال. يُذكر أن طريقة عملنا حازت على المركز الأول في مهمة تحديد موقع الأفعال AVA-Kinetics ضمن تحدي ActivityNet 2020، متقدمةً بشكل كبير على باقي المشاركات (+6.71mAP). سيتم توفير شفرة التدريب والنماذج في الرابط https://github.com/Siyu-C/ACAR-Net.