HyperAIHyperAI
منذ 2 أشهر

النمذجة من العالمي إلى المحلي لتقدير الوضع والشكل البشري ثلاثي الأبعاد بناءً على الفيديو

Shen, Xiaolong ; Yang, Zongxin ; Wang, Xiaohan ; Ma, Jianxin ; Zhou, Chang ; Yang, Yi
النمذجة من العالمي إلى المحلي لتقدير الوضع والشكل البشري ثلاثي الأبعاد بناءً على الفيديو
الملخص

تُقَيَّم تقديرات الوضع والشكل البشري ثلاثية الأبعاد المستندة إلى الفيديو بدقة داخل الإطار وسلاسة بين الإطارات. رغم أن هذين المعيارين مسؤولان عن نطاقات مختلفة من الاستمرارية الزمنية، فإن الأساليب الرائدة الحالية تتعامل معهما كمشكلة موحدة وتستخدم هيكلًا نموذجيًا ثابتًا (مثل RNN أو الكتلة القائمة على الانتباه) لتصميم شبكاتها. ومع ذلك، فإن استخدام نوع واحد فقط من الهياكل النموذجية يصعب فيه تحقيق التوازن في تعلم العلاقات الزمنية قصيرة المدى وطويلة المدى، وقد يميل الشبكة نحو أحدهما، مما يؤدي إلى توقعات غير مرغوب فيها مثل تحول الموقع العالمي، والاستمرارية الزمنية السيئة، وعدم كفاية التفاصيل المحلية.لحل هذه المشكلات، نقترح فصل الهيكل النموذجي لعلاقات طويلة المدى وقصيرة المدى في إطار شامل من النهاية إلى النهاية، وهو ما نطلق عليه Global-to-Local Transformer (GLoT). أولاً، يتم تقديم محول عالمي باستخدام استراتيجية تقدير الوضع والشكل المقنّع للنمذجة طويلة المدى. تحفز هذه الاستراتيجية المحول العالمي على تعلم المزيد من العلاقات بين الإطارات من خلال إخفاء عشوائي لميزات عدة إطارات. ثانيًا، يكون محول محلي مسؤولًا عن استخراج التفاصيل المحلية على الشبكة البشرية والتفاعل مع المحول العالمي باستخدام انتباه متقاطع. بالإضافة إلى ذلك، تم تقديم رgressor للارتباطatial الفراغي الهرمي لتحسين تقديرات داخل الإطار من خلال تمثيل عالمي-محلي منفصل والقيود الحركية الضمنية.يتخطى GLoT الأساليب الرائدة السابقة بأقل عدد من معلمات النموذج في مقاييس شائعة مثل 3DPW و MPI-INF-3DHP و Human3.6M. يمكن الوصول إلى الأكواد عبر الرابط: https://github.com/sxl142/GLoT.注释:- "Regressor" 被翻译为 "Rgressor" 是为了保持术语的专业性和一致性。在阿拉伯语中,通常会保留英文术语的拼写以确保准确性。- "Hierarchical Spatial Correlation Regressor" 翻译为 "Rgressor للارتباطatial الفراغي الهرمي",其中 "Rgressor" 和 "atial" 的拼写是为了保持与原文的一致性。