تعلم الرسوم البيانية لعلاقات الممثلين للاعتراف بأنشطة المجموعات

نمذجة العلاقة بين الممثلين مهم لتحديد نشاط المجموعة في مشهد متعدد الأشخاص. تهدف هذه الورقة البحثية إلى تعلم العلاقة التمييزية بين الممثلين بكفاءة باستخدام النماذج العميقة. لهذا الغرض، نقترح بناء رسم بياني مرن وكفء للعلاقة بين الممثلين (Actor Relation Graph - ARG) لالتقاط العلاقة بين مظهر ووضعية الممثلين بشكل متزامن. بفضل شبكة الرسم البياني الإدراكية (Graph Convolutional Network)، يمكن تعلم الروابط في ARG تلقائيًا من مقاطع الفيديو الخاصة بأنشطة المجموعات بطريقة شاملة، ويمكن تنفيذ الاستدلال على ARG بكفاءة باستخدام العمليات المصفوفية القياسية. علاوة على ذلك، في التطبيقات العملية، ابتكرنا نوعين من التغيرات لندرة ARG لتحقيق نمذجة أكثر فعالية في الفيديوهات: ARG محلي الزمان (spatially localized ARG) وARG عشوائي الزمن (temporal randomized ARG). أجرينا تجارب واسعة النطاق على قاعدتين قياسيتين لبيانات تحديد نشاط المجموعات: مجموعة كرة الطائرة ومجموعة الأنشطة الجماعية، حيث تم تحقيق أفضل الأداء على كلا القاعدتين. كما قمنا برسم الخرائط المرئية للرسوم البيانية للممثلين والميزات المتعلقة بالعلاقة، مما يوضح أن ARG المقترح قادر على التقاط المعلومات التمييزية المتعلقة بالعلاقة لأجل تحديد نشاط المجموعات.