موضع كائن بستة درجات من الحرية من النقاط الرئيسية الدلالية

يقدم هذا البحث منهجية جديدة لتقدير وضعية الجسم المستمرة بست درجات من الحرية (6-DoF) (الترجمة ثلاثية الأبعاد والدوران) من صورة واحدة ملونة RGB. تعتمد هذه المنهجية على دمج النقاط الرئيسية الدلالية التي يتم التنبؤ بها بواسطة شبكة تلافيفية (convnet) مع نموذج شكل قابل للتشوه. على عكس الأعمال السابقة، فإننا لا نعتمد على ما إذا كان الجسم ملمسًا أو بلا ملمس، حيث تتعلم الشبكة التلافيفية التمثيل الأمثل من البيانات التدريبية المتاحة. بالإضافة إلى ذلك، يمكن تطبيق هذه المنهجية لاستعادة وضعية الجسم سواء كانت خاصة بالنموذج الفردي أو النموذج الفئوي. بشكل تجريبي، أظهرنا أن المنهجية المقترحة يمكنها استعادة وضعية الجسم بست درجات من الحرية بدقة في كلا السيناريوهات الفردية والفئوية وفي خلفيات معقدة. بالنسبة لتقدير وضعية الأجسام الفئوية، تم إظهار الدقة الرائدة في العالم على مجموعة بيانات PASCAL3D+ ذات الحجم الكبير.