آلة تسلسل الوضع ثلاثي الأبعاد المتكررة

استعادة الوضعية البشرية المفصلة ثلاثية الأبعاد من سلاسل الصور أحادية العدسة هي مهمة صعبة للغاية بسبب التنوع في المظاهر والزوايا البصرية والإخفاء، بالإضافة إلى أن الوضعية البشرية ثلاثية الأبعاد تكون مبهمة بطبيعتها من الصور أحادية العدسة. ولذلك، فإن الاستفادة من العلاقات الفضائية والزمنية طويلة المدى بين مفاصل الجسم أمر حاسم لتحقيق التنبؤ الدقيق بسلاسل الوضعيات ثلاثية الأبعاد. غالبًا ما تصمم النهج الحالية بعض المصطلحات السابقة المعقدة وقيود الحركة الجسدية للإنسان يدويًا لالتقاط الهياكل، والتي غالبًا ما تكون غير كافية لاستكشاف جميع الهياكل الداخلية ولا يمكن توسيعها لجميع السيناريوهات. على الجانب الآخر، يقدم هذا البحث آلة سلسلة الوضعيات ثلاثية الأبعاد المتكررة (RPSM) لتعلم قيود الهيكل المرتبطة بالصورة والسياق الزمني المرتبط بالسلسلة بشكل تلقائي باستخدام تقنية التحسين المتتابعة متعددة المراحل. في كل مرحلة، يتكون نموذج RPSM الخاص بنا من ثلاثة وحدات لتنبؤ سلاسل الوضعيات ثلاثية الأبعاد بناءً على التمثيلات ثنائية الأبعاد للوضعيات التي تم تعلمها سابقًا والوضعيات ثلاثية الأبعاد: (i) وحدة وضع ثنائية الأبعاد تستخرج التمثيلات المرتبطة بالصورة للوضعيات، (ii) وحدة وضع ثلاثي أبعاد متكررة تقوم بتقدير الوضعيات ثلاثية الأبعاد، و(iii) وحدة تكيف الخصائص تعمل كجسر بين الوحدتين (i) و(ii) لتيسير تحويل التمثيلات من المجال ثنائي الأبعاد إلى المجال الثلاثي الأبعاد. ثم يتم دمج هذه الوحدات الثلاث في إطار عمل للتنبؤ المتتابع لتحسين الوضعيات المتوقعة عبر عدة مراحل متكررة. تظهر التقييمات الشاملة على مجموعة بيانات Human3.6M ومجموعة بيانات HumanEva-I أن نموذج RPSM الخاص بنا يتفوق على جميع النماذج الرائدة في مجال تقدير الوضعيات ثلاثية الأبعاد.