المعرفة القابلة للنقل في التفاعل البشري-الكائني للكشف عن التفاعلات بين الإنسان والأشياء

اكتشاف التفاعل بين الإنسان والكائن (HOI) هو مشكلة مهمة لفهم كيفية تفاعل البشر مع الأشياء. في هذا البحث، نستكشف معرفة التفاعل التي تشير إلى ما إذا كان هناك تفاعل بين الإنسان والكائن أم لا. اكتشفنا أن معرفة التفاعل يمكن تعلمها عبر مجموعات بيانات HOI، بغض النظر عن إعدادات فئات HOI. الفكرة الأساسية لدينا هي استغلال شبكة التفاعل لتعلم المعرفة العامة للتفاعل من مجموعات بيانات متعددة لـ HOI وإجراء قمع عدم التفاعل قبل تصنيف HOI أثناء الاستدلال. نظرًا للتعميم في معرفة التفاعل، فإن شبكة التفاعل هي نظام يتعلم المعرفة القابلة للنقل ويمكنه التعاون مع أي نماذج للكشف عن HOI لتحقيق نتائج مرغوبة. قدمنا تقييمًا شاملًا للمетод المقترح على مجموعات بيانات HICO-DET و V-COCO. أثبت إطار عملنا أنه يتفوق بشكل كبير على أفضل النتائج الحالية في الكشف عن HOI، مما يؤكد فعاليته ومرونته. الرمز البرمجي متاح على https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network.