تعزيز كشف التفاعل بين الإنسان والجسم باستخدام نموذج التمايز النصي إلى الصورة

تُركّز هذه الورقة على مشكلة الطرق الحالية للكشف عن التفاعلات بين الإنسان والجسم (HOI)، وتقديم نموذج جديد يُسمى DiffHOI، وهو نموذج مبتكر للكشف عن التفاعلات بين الإنسان والجسم مبني على نموذج توليد صور من النص المُدرّب مسبقًا، حيث يُحسّن أداء الكاشف من خلال تعزيز تنوع البيانات وتمثيل التفاعلات بين الإنسان والجسم. نُظهر أن الفضاء التمثيلي الداخلي لنموذج التوليد الصوتي-النصي المُجمّد يرتبط بشكل كبير بمفاهيم الأفعال وسياقاتها المقابلة. بناءً على ذلك، نقترح طريقة تكييف من نوع "الملحق" لاستخراج التمثيلات الدلالية المختلفة من نموذج التوليد الصوتي-النصي المُجمّد ونموذج CLIP، بهدف تحسين تمثيلات الإنسان والجسم من الكاشف المُدرّب مسبقًا، مما يقلل بشكل أكبر من الغموض في التنبؤ بالتفاعلات. علاوةً على ذلك، لسد الفجوات في مجموعات بيانات HOI، نُقدّم SynHOI، وهي مجموعة بيانات مُصطنعة كبيرة الحجم، متوازنة من حيث الفئات، وعالية التنوّع، تحتوي على أكثر من 140 ألف صورة لتفاعلات بين الإنسان والجسم، مع تسميات كاملة للثلاثيات (triplets). تم بناء SynHOI باستخدام خط أنابيب تلقائي وقابل للتوسع، مصمم لتوسيع إنتاج بيانات مُعلّمة بتفاعلات بين الإنسان والجسم بتنوع عالٍ ودقة عالية. تُعد SynHOI فعّالة في تخفيف مشكلة التوزيع الطويل الذيل في المجموعات الحالية، وتساهم في تحسين تعلّم تمثيلات التفاعل. تُظهر التجارب الواسعة أن DiffHOI يتفوّق بشكل كبير على أحدث الطرق في الكشف العادي (بمتوسط دقة 41.50 mAP) والكشف بدون تدريب مسبق (zero-shot detection). بالإضافة إلى ذلك، يمكن لـ SynHOI تحسين أداء الكشف عن التفاعلات بين الإنسان والجسم المستقل عن النموذج (model-agnostic) والمستقل عن الهيكل الأساسي (backbone-agnostic)، خاصةً في الفئات النادرة، حيث تُظهر تحسينًا ملحوظًا بنسبة 11.55% في mAP.