شبكة منظمة قائمة على الوضع للكشف عن التفاعل بين الإنسان والجسم

كشف التفاعل بين الإنسان والجسم (HOI) يُعد مهمة حاسمة في فهم المشهد. والهدف هو استنتاج الـ triplet <المُشارك، الفعل، الجسم> في المشهد. في هذه الدراسة، نلاحظ أن وضعية الإنسان وحدها، فضلاً عن المعلومات المكانية النسبية لوضعية الإنسان بالنسبة إلى الجسم المستهدف، يمكن أن توفر أدلة مفيدة للكشف عن التفاعل بين الإنسان والجسم. نُقدِّم شبكةً معيارية قائمة على الوضعية (PMN) التي تستكشف ميزات الوضعية المطلقة وميزات الوضعية المكانية النسبية لتحسين الكشف عن التفاعل بين الإنسان والجسم، وتعمل بالكامل مع الشبكات الحالية. يتكوّن موديولنا من فرع يعالج ميزات الوضعية المكانية النسبية لكل مفصل بشكل منفصل، وفرع آخر يُحدّث ميزات الوضعية المطلقة من خلال هيكل رسم بياني مترابط بالكامل. ثم تُوجَّه الميزات المُعالجة إلى فئة تصنيف الإجراءات. ولتقييم الطريقة المقترحة، قمنا بدمج الموديول مع النموذج الرائد حاليًا المعروف باسم VS-GATs، وحققنا تحسنًا ملحوظًا على معيارين عامين: V-COCO وHICO-DET، مما يُظهر فعالية ومرونة الموديول. يمكن الوصول إلى الكود عبر الرابط: \url{https://github.com/birlrobotics/PMN}.