تعلم نقل القدرات للكشف عن التفاعل بين الإنسان والكائنات

فهم التفاعلات بين الإنسان والأشياء (HOI) ضروري لتحقيق فهم أعمق للمشهد، بينما تعتبر وظائف الأشياء (أو القدرات الوظيفية) ذات أهمية كبيرة للإنسان لاكتشاف تفاعلات غير مرئية مع أشياء جديدة. مستوحى من هذا، نقدم نهجًا للتعلم بالنقل الوظيفي للكشف المشترك عن التفاعلات بين الإنسان والأشياء مع أشياء جديدة وتعرف على الوظائف. بصفة خاصة، يمكن فصل تمثيلات التفاعلات بين الإنسان والأشياء إلى مزيج من تمثيلات الوظائف وتمثيلات الأشياء، مما يجعل من الممكن تركيب تفاعلات جديدة من خلال دمج تمثيلات الوظائف وتمثيلات الأشياء الجديدة من صور إضافية، أي نقل الوظيفة إلى الأشياء الجديدة. باستخدام التعلم بالنقل الوظيفي المقترح، يكون النموذج قادرًا أيضًا على استنتاج وظائف الأشياء الجديدة من تمثيلات الوظائف المعروفة. يمكن استخدام الطريقة المقترحة لـ 1) تحسين أداء الكشف عن التفاعلات بين الإنسان والأشياء، وخاصة بالنسبة للتفاعلات التي تتضمن أشياء غير مرئية؛ و2) استنتاج وظائف الأشياء الجديدة. تظهر النتائج التجريبية على قاعدتي بيانات HICO-DET و HOI-COCO (من V-COCO) تحسينات كبيرة مقارنة بأحدث الأساليب الرائدة في مجال الكشف عن التفاعلات بين الإنسان والأشياء وكشف وظائف الأشياء.الكود متاح على: https://github.com/zhihou7/HOI-CL