DPOD: كاشف ومُحسِّن وضعية الكائن ثلاثي الأبعاد

في هذا البحث، نقدم طريقة جديدة للتعلم العميق للكشف عن الأجسام ثلاثية الأبعاد وتقدير وضعها الستة أبعاد من صور RGB. تُسمى طريقتنا بـ DPOD (Dense Pose Object Detector)، وهي تقوم بتقدير خرائط التوافق الكثيفة متعددة الفئات بين الصورة المدخلة والنموذج ثلاثي الأبعاد المتاح. بناءً على هذه التوافقات، يتم حساب وضع ستة درجات من الحرية (6DoF) عبر استخدام خوارزميات PnP و RANSAC. يتم تنفيذ تحسين إضافي للتقديرات الأولية لوضع RGB باستخدام مخطط تحسين مبني على التعلم العميق ومخصص. تظهر نتائجنا ومقارنتها بعدد كبير من الأعمال ذات الصلة أن عددًا كبيرًا من التوافقات يكون مفيدًا للحصول على تقديرات عالية الجودة لوضع ستة أبعاد قبل وبعد التحسين. على عكس الطرق الأخرى التي تعتمد بشكل أساسي على البيانات الحقيقية في التدريب ولا تقوم بالتدريب على الرسومات المصنعة، نقوم بإجراء التقييم باستخدام بيانات تدريبية حقيقية وصناعية، مما يظهر النتائج الفائقة قبل وبعد التحسين عند المقارنة مع جميع الكاشفات الحديثة. رغم دقتها، فإن الطريقة المعروضة لا تزال قادرة على العمل في الوقت الحقيقي.