HyperAIHyperAI

Command Palette

Search for a command to run...

تعزيز كشف التفاعل بين الإنسان والجسم باستخدام نموذج التمايز النصي إلى الصورة

Jie Yang Bingliang Li Fengyu Yang Ailing Zeng Lei Zhang Ruimao Zhang

الملخص

تُركّز هذه الورقة على مشكلة الطرق الحالية للكشف عن التفاعلات بين الإنسان والجسم (HOI)، وتقديم نموذج جديد يُسمى DiffHOI، وهو نموذج مبتكر للكشف عن التفاعلات بين الإنسان والجسم مبني على نموذج توليد صور من النص المُدرّب مسبقًا، حيث يُحسّن أداء الكاشف من خلال تعزيز تنوع البيانات وتمثيل التفاعلات بين الإنسان والجسم. نُظهر أن الفضاء التمثيلي الداخلي لنموذج التوليد الصوتي-النصي المُجمّد يرتبط بشكل كبير بمفاهيم الأفعال وسياقاتها المقابلة. بناءً على ذلك، نقترح طريقة تكييف من نوع "الملحق" لاستخراج التمثيلات الدلالية المختلفة من نموذج التوليد الصوتي-النصي المُجمّد ونموذج CLIP، بهدف تحسين تمثيلات الإنسان والجسم من الكاشف المُدرّب مسبقًا، مما يقلل بشكل أكبر من الغموض في التنبؤ بالتفاعلات. علاوةً على ذلك، لسد الفجوات في مجموعات بيانات HOI، نُقدّم SynHOI، وهي مجموعة بيانات مُصطنعة كبيرة الحجم، متوازنة من حيث الفئات، وعالية التنوّع، تحتوي على أكثر من 140 ألف صورة لتفاعلات بين الإنسان والجسم، مع تسميات كاملة للثلاثيات (triplets). تم بناء SynHOI باستخدام خط أنابيب تلقائي وقابل للتوسع، مصمم لتوسيع إنتاج بيانات مُعلّمة بتفاعلات بين الإنسان والجسم بتنوع عالٍ ودقة عالية. تُعد SynHOI فعّالة في تخفيف مشكلة التوزيع الطويل الذيل في المجموعات الحالية، وتساهم في تحسين تعلّم تمثيلات التفاعل. تُظهر التجارب الواسعة أن DiffHOI يتفوّق بشكل كبير على أحدث الطرق في الكشف العادي (بمتوسط دقة 41.50 mAP) والكشف بدون تدريب مسبق (zero-shot detection). بالإضافة إلى ذلك، يمكن لـ SynHOI تحسين أداء الكشف عن التفاعلات بين الإنسان والجسم المستقل عن النموذج (model-agnostic) والمستقل عن الهيكل الأساسي (backbone-agnostic)، خاصةً في الفئات النادرة، حيث تُظهر تحسينًا ملحوظًا بنسبة 11.55% في mAP.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp