اكتشاف التفاعل بين الإنسان والكائنات من خلال التعلم التركيب المُصَنَّع

اكتشاف التفاعل بين الإنسان والكائنات (HOI)، وهو استنتاج العلاقات بين الإنسان والكائنات من الصور أو الفيديوهات، يعتبر مهمة أساسية لفهم المشاهد على المستوى العالي. ومع ذلك، يعاني اكتشاف التفاعل بين الإنسان والكائنات عادةً من الطبيعة المفتوحة والذيل الطويل للتفاعلات مع الكائنات، بينما يتمتع الإنسان بقدرة تكوينية قوية للغاية على إدراك العينات النادرة أو غير المعروفة من التفاعلات بين الإنسان والكائنات. مستوحىً من هذا، نقترح إطارًا جديدًا للتعلم التكويني في التفاعلات بين الإنسان والكائنات، والذي نسميه التعلم التكويني المصنوع (FCL)، لمعالجة مشكلة اكتشاف التفاعلات بين الإنسان والكائنات ذات الذيل الطويل المفتوح. بشكل خاص، نقدم مصنع كائنات لإنشاء تمثيلات كائنات فعالة، ثم ندمج الأفعال والمكونات المصنوعة لتكوين عينات جديدة من التفاعلات بين الإنسان والكائنات. باستخدام مصنع الكائنات المقترح، يمكننا إنشاء عينات واسعة النطاق من التفاعلات بين الإنسان والكائنات للفئات النادرة وغير المعروفة لتخفيف مشاكل الذيل الطويل المفتوح في اكتشاف التفاعلات بين الإنسان والكائنات. أظهرت التجارب الواسعة على مجموعة البيانات الأكثر شهرة لاكتشاف التفاعلات بين الإنسان والكائنات، HICO-DET، فعالية الطريقة المقترحة في اكتشاف التفاعلات بين الإنسان والكائنات غير المتوازنة وتحسين الأداء الرائد بشكل كبير على الفئات النادرة وغير المعروفة من التفاعلات بين الإنسان والكائنات. يمكن الوصول إلى الشفرة البرمجية عبر الرابط: https://github.com/zhihou7/HOI-CL.