تعلم التفاعلات بين الإنسان والأشياء باستخدام شبكات العصبيات محللة الرسوم البيانية

يتناول هذا البحث مهمة كشف وتمييز التفاعلات بين الإنسان والأشياء (Human-Object Interactions - HOI) في الصور والفيديوهات. نقدم شبكة التحليل الرسومية العصبية (Graph Parsing Neural Network - GPNN)، وهي إطار عمل يدمج المعرفة البنيوية مع القدرة على الاشتقاق من البداية إلى النهاية. بالنسبة لمشهد معين، تقوم GPNN باستنتاج رسم بياني للتحليل يشمل: i) بنية الرسم البياني للتفاعلات بين الإنسان والأشياء ممثلة بمصفوفة المجاورة، وii) تسميات العقد. ضمن إطار استدلال نقل الرسائل، تقوم GPNN بحساب مصفوفات المجاورة وتسميات العقد بشكل تكراري. قمنا بتقييم نموذجنا بشكل مكثف على ثلاثة مقاييس لكشف التفاعلات بين الإنسان والأشياء في الصور والفيديوهات: مجموعة بيانات HICO-DET، V-COCO، وCAD-120. أثبتت طريقتنا تفوقها بشكل كبير على الطرق المتقدمة الحالية، مما يؤكد أن GPNN قابلة للتوسع إلى مجموعات بيانات كبيرة وأنها تنطبق على الإعدادات المكانية-الزمانية. يمكن الحصول على الكود من الرابط https://github.com/SiyuanQi/gpnn.