HOI4ABOT: التنبؤ بالتفاعل بين الإنسان والكائنات لقراءة نوايا الإنسان في الروبوتات التعاونية

تُصبح الروبوتات مُندمجةً بشكل متزايد في حياتنا، حيث تساعدنا في مجموعة متنوعة من المهام. لضمان التعاون الفعال بين البشر والروبوتات، من الضروري أن تكون الروبوتات قادرة على فهم نوايانا وتوقع أفعالنا. في هذا البحث، نقترح إطارًا للتوقع المسبق للتفاعل بين الإنسان والكائن (Human-Object Interaction - HOI) للروبوتات التشاركية. نقترح نموذجًا قائمًا على المتحولات (transformer) فعّال وقوي لاكتشاف وتوقع التفاعلات بين الإنسان والكائن من مقاطع الفيديو. يُعزز هذا التوقع المحسن قدرة الروبوتات على المساعدة بنشاط، مما يؤدي إلى تعاون أكثر كفاءة وفطنة. حقق نموذجنا نتائج أفضل من النماذج الرائدة في مجال اكتشاف وتوقع التفاعلات بين الإنسان والكائن في مجموعة بيانات VidHOI، مع زيادة بنسبة 1.76% و1.04% في mAP على التوالي، بينما يكون أسرع بمقدار 15.4 مرة. نعرض فعالية نهجنا من خلال النتائج التجريبية على روبوت حقيقي، مما يثبت أن قدرة الروبوت على توقع التفاعلات بين الإنسان والكائن هي عامل أساسي لتحقيق تفاعل أفضل بين الإنسان والروبوت. يمكن العثور على المزيد من المعلومات على صفحة الويب الخاصة بمشروعنا: https://evm7.github.io/HOI4ABOT_page/