استخراج مؤشرات متقاطعة بين الأشخاص لتعلم تفاعل الأجزاء الجسدية في كشف التفاعل بين الكائنات والأشخاص

يلعب الكشف عن التفاعل بين الإنسان والجسم (HOI) دورًا محوريًا في فهم الأنشطة. وعلى الرغم من التقدم الكبير المحرز، تظل مشكلة تعلم التفاعلية تحديًا كبيرًا في الكشف عن التفاعل بين الإنسان والجسم: فغالبًا ما تُولّد الطرق الحالية اقتراحات زائدة من أزواج الإنسان-الجسم السلبية، ولا تتمكن من استخلاص الأزواج التفاعلية بشكل فعّال. وعلى الرغم من أن التفاعلية قد تم دراستها على مستوى الجسم الكامل وعلى مستوى الأجزاء، وساهمت في تحسين زوجة الإنسان-الجسم، إلا أن الدراسات السابقة ركّزت فقط على الشخص المستهدف مرة واحدة (أي من منظور محلي)، وتجاهلت المعلومات المتعلقة بالأشخاص الآخرين. في هذا البحث، ندّعي أن مقارنة أجزاء الجسم لدى أكثر من شخص في آن واحد يمكن أن تزوّدنا بمؤشرات تفاعلية أكثر فائدة وتكميلية. بمعنى آخر، لتعلم التفاعلية بين أجزاء الجسم من منظور عالمي: عند تصنيف تفاعلية جزء جسم شخص مستهدف، يتم استكشاف المؤشرات البصرية ليس فقط من ذاته، بل أيضًا من الأشخاص الآخرين في الصورة. نقوم ببناء خرائط بارزة لأجزاء الجسم باستخدام الانتباه الذاتي لاستخراج المؤشرات المفيدة بين الأشخاص، ونُعلّم العلاقات الشاملة بين جميع أجزاء الجسم. وقد قمنا بتقييم الطريقة المقترحة على معايير شائعة الاستخدام HICO-DET وV-COCO. وبفضل هذا المنظور الجديد، حقق التعلم الشامل للتفاعلية بين أجزاء الجسم من منظور عالمي-محلي تحسينات كبيرة مقارنة بأفضل الطرق الحالية. يمكن الوصول إلى الشفرة المصدرية للطريقة من خلال الرابط التالي: https://github.com/enlighten0707/Body-Part-Map-for-Interactiveness.