الانتباه الثنائي للأجزاء الجسدية لتمييز التفاعلات بين الإنسان والأشياء

في مجال التعرف على تفاعلات الإنسان مع الأشياء (HOI)، تأخذ الطرق التقليدية جسم الإنسان كوحدة واحدة وتعطي اهتمامًا موحدًا لجميع مناطق الجسم. ومع ذلك، فإن هذه الطرق تتجاهل حقيقة أن الإنسان عادة ما يتفاعل مع الأشياء باستخدام بعض أجزاء الجسم فقط. في هذا البحث، ندعي أنه يجب دفع اهتمام مختلف لأجزاء الجسم المختلفة في التعرف على تفاعلات الإنسان مع الأشياء، وأن يجب الأخذ بعين الاعتبار العلاقات بين هذه الأجزاء المختلفة أيضًا. وهذا لأن أجزاء أجسامنا تعمل دائمًا بشكل تعاوني. نقترح نموذج جديد للانتباه الثنائي بين أجزاء الجسم يمكنه التعلم لتركيز الاهتمام على الأجزاء الحاسمة والعلاقات بينها للتعرف على تفاعلات الإنسان مع الأشياء. يتم تقديم طريقة جديدة لاختيار الميزات بناءً على الانتباه ونظام تمثيل الميزات قادر على التقاط العلاقات الثنائية بين أجزاء الجسم في النموذج. حققت الطريقة المقترحة لدينا تحسن بنسبة 4% فوق أفضل النتائج السابقة في التعرف على تفاعلات الإنسان مع الأشياء على مجموعة بيانات HICO. سنقوم بجعل نموذجنا وكود المصدر متاحين للجمهور.