دمج المظهر البصري والهندسة للتعقب الستة درجات من الحرية متعدد الوسائط للأشياء

في العديد من تطبيقات التحكم المتقدم في الروبوتات، يتم استيفاء الحاجة المستمرة إلى تقدير وضع الأجسام بست درجات من الحرية (6DoF). في هذا البحث، نطور متعقبًا متعدد الوسائط يدمج المعلومات من المظهر البصري والهندسة لتقدير وضع الأجسام. يمتد الخوارزمي ليشمل طريقة ICG السابقة لدينا، التي تعتمد على الهندسة، ليأخذ أيضًا في الاعتبار مظهر السطح.بشكل عام، تحتوي أسطح الأجرام على خصائص محلية من النصوص والرسومات والأنماط، بالإضافة إلى الاختلافات العالمية من المواد والألوان المختلفة. لدمج هذه المعلومات البصرية، تم تطوير وسيلتين. بالنسبة للخصائص المحلية، يتم استخدام خصائص النقاط الرئيسية لتقليل المسافات بين النقاط من الإطارات الرئيسية والصورة الحالية. أما بالنسبة للاختلافات العالمية، فقد تم تطوير نهج إقليمي جديد يأخذ في الاعتبار عدة مناطق على سطح الجسم. بالإضافة إلى ذلك، يسمح هذا النهج بنمذجة الهندسات الخارجية.أثبتت التجارب على قاعدة بيانات YCB-Video وOPT أن نهجنا ICG+ حقق أفضل النتائج في كلتا القاعدتين، حيث تفوق على الأساليب التقليدية وأساليب التعلم العميق. وفي الوقت نفسه، يعتبر الخوارزمي فائق الكفاءة ويُشغل بمعدل يتجاوز 300 هرتز. الرمز المصدر لمتعقبنا متاح بشكل علني.