HyperAIHyperAI

Command Palette

Search for a command to run...

استغلال السياقات الزمنية باستخدام المحول ذو الخطوات للتقدير ثلاثي الأبعاد لموضع الإنسان

Wenhao Li Hong Liu† Runwei Ding Mengyuan Liu Pichao Wang Wenming Yang

الملخص

رغم التقدم الكبير في تقدير وضع الإنسان ثلاثي الأبعاد من الفيديوهات، لا يزال من المشاكل استغلال الوضعيات ثنائية الأبعاد الزائدة بشكل كامل لتعلم تمثيلات ممثلة لإنتاج وضعية ثلاثية الأبعاد واحدة. لتحقيق هذا الغرض، نقترح هندسة محسنة تعتمد على الشبكات العصبية المتранسة (Transformer) تُسمى الشبكة المتراصة المتранسة (Strided Transformer)، والتي تقوم ببساطة وفعالية برفع سلسلة طويلة من مواقع المفاصل ثنائية الأبعاد إلى وضعية ثلاثية أبعاد واحدة.وبشكل خاص، يتم اعتماد مُشفر الشبكة المترانسة البسيط (Vanilla Transformer Encoder - VTE) لنمذجة الارتباطات البعيدة لمتتابعات الوضعيات ثنائية الأبعاد. لتخفيض الزائد في السلسلة، يتم استبدال الطبقات المرتبطة بالكامل في شبكة التغذية الأمامية للـ VTE بالتشابك المتراص (strided convolutions) لتقليل طول السلسلة تدريجياً وجمع المعلومات من السياقات المحلية. يُطلق على المُشفر VTE المعدل اسم مُشفر الشبكة المتراصة المتранسة (Strided Transformer Encoder - STE)، والذي يتم بناؤه على أساس مخرجات الـ VTE. يقوم الـ STE ليس فقط بتجميع المعلومات البعيدة في تمثيل واحد بأسلوب عالمي وموضعي متدرج بشكل فعال، بل يخفض أيضاً بشكل كبير تكلفة الحساب.بالإضافة إلى ذلك، تم تصميم نظام إشراف كاملاً إلى فردي يتم تطبيقه على مستويين: سلسلة كاملة وإطار هدف فردي، ويستهدف مخرجات الـ VTE والـ STE على التوالي. يفرض هذا النظام قيوداً إضافية على الانسياب الزمني مع الإشراف على الإطار الهدف الفردي وبالتالي يساعد في إنتاج وضعيات ثلاثية أبعاد أكثر انسيابية ودقة. تم تقييم الشبكة المتراصة المترانسة المقترحة على مجموعة بيانات تحديين صعبين، وهما Human3.6M وHumanEva-I، وأظهرت نتائجًا رائدة باستخدام عدد أقل من المعلمات. يمكن الحصول على الكود والنماذج من الرابط التالي: \url{https://github.com/Vegetebird/StridedTransformer-Pose3D}.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp