معرفة التفاعل القابلة للنقل للكشف عن التفاعل بين الإنسان والجسم

كشف تفاعل الإنسان مع الكائن (HOI) يُعد مشكلة مهمة لفهم كيفية تفاعل البشر مع الكائنات. في هذه الورقة، نستعرض معرفة التفاعل، والتي تشير إلى ما إذا كان الإنسان والكائن يتفاعلان مع بعضهما البعض أم لا. وجدنا أن معرفة التفاعل يمكن تعلّمها عبر مجموعات بيانات HOI المختلفة، وتساهم في تقليل الفجوة بين إعدادات فئات HOI المتنوعة. تتمثل الفكرة الأساسية لدينا في استغلال شبكة التفاعل لاستخلاص معرفة التفاعل العامة من عدة مجموعات بيانات HOI، وتنفيذ قمع التفاعل غير المُتَّفق عليه (NIS) قبل التصنيف في مرحلة الاستنتاج. وبسبب قدرة شبكة التفاعل على التعميم، فإنها تُعدّ مُعلّمًا للخبرة القابلة للتحويل، ويمكن دمجها مع أي نموذج كشف تفاعل الإنسان مع الكائن لتحقيق نتائج مرضية. نستخدم ميزات الكائن البشري وخصائص الأجزاء الجسدية معًا لتعلم التفاعل بطريقة هرمية، أي تفاعل على مستوى الكائن وتفاعل على مستوى الجزء الجسدي. ثم نُقدّم مهمة اتساق لتقديم توجيه للتعلم واستخلاص أدلة بصرية أعمق حول التفاعل. قمنا بتقييم واسع للطريقة المقترحة على مجموعات بيانات HICO-DET وV-COCO، بالإضافة إلى مجموعة بيانات PaStaNet-HOI الجديدة التي تم إنشاؤها حديثًا. وباستخدام المعرفة المُتعلّمة عن التفاعل، تفوقت طريقة عملنا على أحدث الطرق في كشف تفاعل الإنسان مع الكائن، مما يؤكد فعاليتها ومرونتها. يمكن الاطلاع على الشفرة المصدرية عبر الرابط: https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network.