شبكة ت.Convolutionية رسمية تعتمد على الهيكل العظمي للكشف عن التفاعل بين الإنسان والجسم

كشف التفاعل بين الإنسان والجسم يُعد أمرًا ضروريًا لفهم شامل للمشاهد البصرية. وبخاصة، تُعتبر الاتصالات المكانية بين الإنسان والجسم مؤشرات مهمة لاستنتاج التفاعلات. ولتحقيق هذا الهدف، نقترح شبكة تلافيفية رسمية تعتمد على الهيكل العظمي للكشف عن التفاعلات بين الإنسان والجسم، وتُعرف بـ SGCN4HOI. تعتمد الشبكة على الاتصالات المكانية بين النقاط المميزة للإنسان والنقاط المميزة للجسم لالتقاط تفاعلات هيكلية دقيقة من خلال التحويلات الرسومية. كما تقوم بدمج هذه السمات الهندسية مع السمات البصرية والسمات المكانية الناتجة عن أزواج الإنسان-الجسم. علاوةً على ذلك، لتحسين الحفاظ على المعلومات الهيكلية للجسم وتسهيل الكشف عن التفاعلات بين الإنسان والجسم، نقترح تمثيلًا جديدًا للنقاط المميزة للجسم يستند إلى الهيكل العظمي. تم تقييم أداء SGCN4HOI في مجموعة بيانات المعيار العام V-COCO. وأظهرت النتائج التجريبية أن النهج المقترح يتفوق على النماذج الحديثة القائمة على الهيكل العظمي، ويحقق أداءً تنافسيًا مقارنةً بالنماذج الأخرى.