HyperAIHyperAI

Command Palette

Search for a command to run...

التعلم عبر الوسائط مع الانتباه القابل للتشوه ثلاثي الأبعاد للتعرف على الحركات

Sangwon Kim Dasom Ahn Byoung Chul Ko

الملخص

يُعد التحدي الرئيسي في التعرف على الحركات القائمة على الرؤية هو دمج السمات الزمانية والمكانية ذات الوسائط المتنوعة (التي تصل إلى اثنين أو أكثر) في سمة واحدة. في هذه الدراسة، نقترح نموذجًا جديدًا للتحويلة ثلاثية الأبعاد القابلة للانحناء (3D Deformable Transformer) للتنبؤ بالحركات، يمتلك مجالات استقبال زمانية-مكانية تكيفية وآلية تعلم عبر الوسائط. يتكون نموذج التحويلة ثلاثية الأبعاد القابلة للانحناء من ثلاث وحدات انتباه: القدرة على الانحناء ثلاثية الأبعاد، وانتباه التوسع المكاني المشترك، وانتباه التوسع الزمني. تُدخل حالتان عبر الوسائط (cross-modal tokens) إلى وحدة الانتباه ثلاثية الأبعاد القابلة للانحناء لتكوين حالة انتباه متقاطعة (cross-attention token) تعكس الترابط الزماني-المكاني. يُطبَّق انتباه التوسع المكاني المشترك لدمج انتباه السمات المكانية مع سمات الوضع (pose tokens). أما انتباه التوسع الزمني، فيقلل من عدد الحالات المدخلة في وحدة الانتباه بمرور الزمن، ويُمكّن من تعلم التعبير الزمني دون الحاجة إلى استخدام جميع الحالات في آن واحد. تكرر التحويلة القابلة للانحناء L مرة، ثم تُدمج الحالة المتقاطعة الأخيرة لغرض التصنيف. تم اختبار النموذج المقترح على مجموعات بيانات NTU60 وNTU120 وFineGYM وPennAction، وأظهر أداءً أفضل من أو مماثلاً للأساليب المتطورة المُدرَّبة مسبقًا، حتى دون استخدام عملية التدريب المسبق. علاوة على ذلك، من خلال تصور العقد المهمة والارتباطات أثناء التعرف على الحركات باستخدام انتباه العقد المكانية وانتباه التوسع الزمني، يُقدَّم احتمال تحقيق إمكانية تفسيرية (explainable potential) في التعرف على الحركات.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp