HandFoldingNet: شبكة تقدير وضع اليد ثلاثية الأبعاد باستخدام طي هيكلي اليد ثنائي الأبعاد الموجه بواسطة ميزات متعددة المقياس

مع التوسع المتزايد في تطبيقات تقدير وضعية اليد ثلاثية الأبعاد في مختلف تطبيقات التفاعل بين الإنسان والحاسوب، تم استكشاف نماذج تقدير تعتمد على الشبكات العصبية التلافيفية (CNN) بشكل مكثف. ومع ذلك، تتطلب النماذج الحالية هياكل معقدة أو موارد حسابية زائدة من أجل تحقيق دقة مقبولة. ولحل هذه القيود، تُقدّم هذه الورقة نموذج HandFoldingNet، وهو مُقدّر دقيق وفعال لوضعية اليد، يُقدّر مواقع مفاصل اليد من خلال إدخال سحابة نقاط يد ثلاثية الأبعاد معتمدة على التطبيع. يستخدم النموذج المقترح معالجًا مبنيًا على طريقة الطي (folding-based decoder)، يقوم بطي الهيكل ثنائي الأبعاد لليد إلى الإحداثيات المقابلة للمفاصل. ولتحقيق دقة تقدير أعلى، يتم توجيه عملية الطي باستخدام ميزات متعددة المقياس، والتي تشمل الميزات العالمية والميزات المحلية الخاصة بكل مفصل على حدة. تُظهر النتائج التجريبية أن النموذج المقترح يتفوّق على الطرق الحالية في ثلاث مجموعات بيانات معيارية لتقدير وضعية اليد، مع أقل عدد من المعلمات في النموذج. يمكن الوصول إلى الكود عبر الرابط: https://github.com/cwc1260/HandFold.