التعلم الضمني للتوجيه ثلاثي الأبعاد للكشف عن الأجسام الستية الأبعاد من صور RGB

نقترح مسارًا في الوقت الحقيقي يستند إلى صور RGB لاكتشاف الأشياء وتقدير وضعها الثلاثي الأبعاد (6D). تقدير التوجيه الثلاثي الأبعاد الجديد لدينا يعتمد على نسخة معدلة من دينويسينغ أوتوإنكودر (Denoising Autoencoder) التي يتم تدريبها على مشاهد محاكاة لنموذج ثلاثي الأبعاد باستخدام تقنية العشوائية النطاقية (Domain Randomization). هذا المُسمى بالـ أوتوإنكودر المعزز (Augmented Autoencoder) يتمتع بعدة مزايا على الطرق الحالية: فهو لا يحتاج إلى بيانات تدريب حقيقية ومُشَرحة بوضعيات، يمكنه التعميم لمستشعرات اختبار مختلفة، ويتعامل بشكل طبيعي مع تناظرات الأشياء والمشاهد. بدلاً من تعلم خريطة صريحة من الصور الإدخال إلى وضعيات الأشياء، يوفر تمثيلًا ضمنيًا للتوجهات الثلاثية الأبعاد التي تعريفها العينات في الفضاء الكامن (latent space). يحقق مسارنا أداءً رائدًا في مجموعة البيانات T-LESS سواء في مجال RGB أو RGB-D. كما نقوم بتقييم أدائنا على مجموعة البيانات LineMOD حيث يمكننا المنافسة مع الطرق الأخرى التي تم تدريبها بشكل اصطناعي. نزيد أيضًا من الأداء عن طريق تصحيح تقديرات التوجيه الثلاثي الأبعاد لمعالجة أخطاء المنظور عندما يحيد الجسم عن مركز الصورة ونعرض النتائج الممتدة.