HyperAIHyperAI

Command Palette

Search for a command to run...

ERNet: كشف تفاعلات الإنسان مع الكائنات بكفاءة وموثوقية

Massimo Tistarelli John See KokSheik Wong Joanne Mun-Yee Lim Vishnu Monn Baskaran JunYi Lim

الملخص

كشف التفاعل بين الإنسان والكائن (HOI) يُعرف كيفية تفاعل الأشخاص مع الكائنات، وهو ميزة مفيدة في الأنظمة الذاتية مثل المركبات ذاتية القيادة والروبوتات التعاونية. ومع ذلك، فإن كاشفات HOI الحالية غالبًا ما تعاني من عدم كفاءة النموذج وعدم موثوقية التنبؤات، مما يحد من إمكاناتها في السيناريوهات الواقعية. في هذه الورقة، نعالج هذه التحديات من خلال اقتراح نموذج ERNet، وهو شبكة متعددة التدريب من نوع التحويلة-التماثلية (convolutional-transformer) قابلة للتدريب من النهاية إلى النهاية لكشف التفاعل بين الإنسان والكائن. يستخدم النموذج المقترح انتباهًا مُنْحَرِفًا متعدد المقياس بكفاءة لالتقاط الميزات الحيوية المرتبطة بتفاعل الإنسان والكائن. كما نقدم وحدة انتباه اكتشاف جديدة لتكوين تلقائي لرموز (tokens) ذات معاني غنية لكل من الكائنات والتفاعلات. تمر هذه الرموز بعمليات اكتشاف مُبَكِّرة لتوليد اقتراحات أولية للمناطق والمتغيرات، والتي تعمل أيضًا كاستفسارات (queries) لتعزيز عملية تحسين الميزات في مُفكِّكات التحويلة (transformer decoders). كما تم تطبيق عدة تحسينات مؤثرة لتحسين تعلم تمثيل HOI. بالإضافة إلى ذلك، نستخدم إطارًا لتقييم عدم اليقين التنبؤي في وحدات التصنيف الخاصة بالكائنات والتفاعلات لقياس مستوى عدم اليقين وراء كل تنبؤ. وبذلك، يمكننا التنبؤ بدقة وموثوقية بتفاعلات الإنسان والكائن حتى في السيناريوهات الصعبة. أظهرت نتائج التجارب على مجموعات بيانات HICO-Det وV-COCO وHOI-A أن النموذج المقترح يحقق أداءً رائدًا في دقة الكشف وكفاءة التدريب. تم إتاحة الشيفرة المصدرية للجمهور عبر الرابط التالي: https://github.com/Monash-CyPhi-AI-Research-Lab/ernet.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp