شبكة العلاقات التفاعلية للاعتراف بالحركات المتبادلة

التعرف المتبادل بين الشخصين (وهو أيضًا يُشار إليه باسم التعرف على التفاعلات) هو فرع بحثي مهم في تحليل النشاط البشري. الحلول الحالية في هذا المجال - والتي تهيمن عليها الشبكات العصبية التلافيفية (CNNs)، والشبكات العصبية الرسومية (GCNs)، والشبكات العصبية ذات الذاكرة الطويلة القصيرة (LSTMs) - غالبًا ما تتكون من هياكل ومعايير معقدة لدمج العلاقات بين الشخصين في الهيكل نفسه، للتأكد من أن أنماط التفاعل يمكن تعلمها بشكل صحيح. المساهمة الرئيسية لهذا العمل هي اقتراح هيكل أبسط وأكثر قوة، يُطلق عليه شبكة العلاقات التفاعلية (Interaction Relational Network)، والذي يستخدم معلومات سابقة أقل عن بنية الجسم البشري. نحن ندفع الشبكة لتحديد كيفية ربط أجزاء الجسم من الأفراد الذين يتواصلون بمفردها. لتمثيل التفاعل بشكل أفضل، نحدد نوعين مختلفين من العلاقات، مما يؤدي إلى هياكل وأنماط متخصصة لكل منها. سيتم دمج هذه النماذج المتعددة للعلاقات في هيكل واحد خاص، بهدف الاستفادة من كلا مسارَي المعلومات لتعزيز قدرة الاستدلال العلائقية بشكل أكبر. بالإضافة إلى ذلك، نحدد عمليات زوجية مرتبة مهمة لاستخراج معلومات إضافية ذات معنى من كل زوج من المفاصل - المسافة والحركة. في النهاية، وبفضل دمج شبكة LSTM، يكون شبكتنا IRN قادرة على الاستدلال العلائقي المتسلسل بمستوى عالٍ جدًا. يمكن أن تكون هذه الإضافات المهمة التي أدخلناها على شبكتنا ذات قيمة أيضًا للمشاكل الأخرى التي تتطلب استدلالًا علائقيًا معقدًا. حلنا قادر على تحقيق أداء متفوق على مجموعة البيانات التقليدية للتعرف على التفاعلات SBU و UT، وكذلك على الأنشطة المتبادلة من مجموعة البيانات الكبيرة NTU RGB+D. بالإضافة إلى ذلك، يحقق أداءً تنافسيًا في مجموعة البيانات الفرعية للتفاعلات في NTU RGB+D 120.