المصنف المُهمل في تمييز التفاعل البشري-الكائن

تمييز التفاعل البشري-الكائن (HOI) يُعد تحديًا بسبب عاملين رئيسيين: (1) التوازن غير المتكافئ بين الفئات، و(2) الحاجة إلى تسمية متعددة لكل صورة. تُظهر هذه الورقة أن هذين التحديين يمكن التغلب عليهما بشكل فعّال من خلال تحسين فئة التصنيف مع الحفاظ على بنية النموذج الأساسي دون تعديل. أولاً، نُدخل الارتباط الدلالي بين الفئات إلى جزء التصنيف من خلال تهيئة أوزان النموذج باستخدام تمثيلات لغوية لتفاعلات الإنسان-الكائن (HOIs). وبهذا، يرتفع الأداء بشكل ملحوظ، خاصة في المجموعة القليلة الأمثل (few-shot). ثانيًا، نقترح خسارة جديدة تُسمى LSE-Sign لتعزيز التعلم متعدد التسميات على مجموعة بيانات ذات توزيع طويل الذيل. يُتيح لنا هذا النهج البسيط ولكن الفعّال تصنيف HOI دون الحاجة إلى كشف الكائنات، ويتفوق بوضوح على أحدث النماذج التي تتطلب كشف الكائنات وتحليل وضعية الإنسان. علاوةً على ذلك، نُحوّل نموذج التصنيف إلى كشف تفاعلات HOI على مستوى المثيلات من خلال ربطه بمحرك كشف كائنات جاهز. ونحقق بذلك أداءً من الدرجة الأولى دون الحاجة إلى أي تعديل إضافي (fine-tuning).