تقدير الوضعية ثلاثية الأبعاد العالمية لليدين باستخدام الصورة المونوكولار RGB

نواجه المهمة الصعبة لتقدير مواقع المفاصل ثلاثية الأبعاد عالمياً لكلتا اليدين من خلال استخدام صور RGB أحادية العين فقط. نقترح مساراً جديداً يعتمد على شبكة عصبية تلافيفية متعددة المراحل، والذي يقوم بفصل وتحديد موقع اليدين بدقة رغم وجود التداخل بين اليدين والضوضاء الخلفية المعقدة، ويقدر مواقع المفاصل القياسية ثنائية الأبعاد وثلاثية الأبعاد دون أي معلومات عن العمق. يتم حساب مواقع المفاصل العالمية بالنسبة لمصدر الكاميرا باستخدام تقديرات وضع اليد وطول العظم الرئيسي الفعلي بواسطة خوارزمية الإسقاط الجديدة. لتدريب الشبكات العصبية التلافيفية لهذا المهمة الجديدة، نقدم مجموعة بيانات كبيرة الحجم ومصنعة لوضع اليد ثلاثية الأبعاد. نثبت أن نظامنا يتفوق على الأعمال السابقة في مجموعات البيانات المرجعية لتقدير وضع اليد الثلاثي القياسية باستخدام معلومات RGB فقط. بالإضافة إلى ذلك، نقدم أول عمل يحقق تتبعاً دقيقاً للمواقع العالمية ثلاثية الأبعاد لكلا اليدين باستخدام مدخلات RGB فقط، مع تقديم تقييم كمي وكيفي شامل.