تحليل التفاعل بين الإنسان والكائن: دمج وتحليل تفكيكي للتفاعل بين الإنسان والكائن

يتكوّن التفاعل بين الإنسان والجسم (HOI) من ثلاثة عناصر رئيسية: الإنسان، الجسم، والفعل التفاعلي الضمني. على عكس الطرق السابقة التي تقوم بربط البكسلات مباشرةً بمعاني HOI، نقترح منظورًا جديدًا لتعلم HOI بطريقة تحليلية. وبالتشابه مع التحليل التوافقي، الذي يهدف إلى دراسة كيفية تمثيل الإشارات من خلال تراكب الموجات الأساسية، نقدّم ما يُسمى بـ "تحليل HOI". ونُجادل بأن التفاعلات المتناسقة من نوع HOI يمكن تحليلها إلى أشخاص وأجسام منفصلة، في حين أن الأشخاص والأجسام المنفصلة يمكن دمجها مجددًا لتكوين تفاعلات HOI متناسقة. علاوةً على ذلك، يمكن التعامل مع التحولات بين أزواج الإنسان والجسم ذات التفاعل نفسه بشكل أكثر سهولة من خلال عمليات الدمج والتحليل. ونتيجة لذلك، يتم تمثيل الفعل الضمني في فضاء دالة التحول. استنادًا إلى هذا المفهوم، نقترح شبكة دمج-تحليل (IDN) لتنفيذ هذه التحولات، وتحقيق أداءً متميزًا على معايير كشف HOI الشائعة الاستخدام. يمكن الاطلاع على الكود من خلال الرابط التالي: https://github.com/DirtyHarryLYL/HAKE-Action-Torch/tree/IDN-(Integrating-Decomposing-Network).