تقدير وضع الكاميرا بالنسبة للروبوت بدون علامات عبر نقل محاكاة إلى الواقع ذاتي الإشراف

حل مسألة وضع الكاميرا بالنسبة للروبوت هو متطلب أساسي للتحكم في الروبوتات بالاستناد إلى الرؤية، وهو عملية تتطلب جهداً كبيراً ودقة عالية لتحقيق النتائج المرجوة. الطرق التقليدية تتضمن تعديل الروبوت باستخدام علامات، فيما أتاحت الطرق الحديثة المعتمدة على التعلم العميق استخراج الخصائص دون الحاجة إلى العلامات. ومع ذلك، فإن معظم طرق التعلم العميق تستخدم البيانات المصنعة فقط وتعتمد على التنوع النمائي (Domain Randomization) لسد الفجوة بين البيئة المحاكاة والواقعية، نظراً لكون الحصول على التسميات ثلاثية الأبعاد أمر شاق ومكلف.في هذا البحث، نتجاوز قيود التسميات ثلاثية الأبعاد للبيانات الحقيقية. نقترح إطارًا شاملًا لتقدير الوضع يتيح الت head-to-tail head_calibration بين الكاميرا والروبوت بشكل مباشر وفي الوقت الحقيقي، بالإضافة إلى طريقة تدريب ذاتية الإشراف لتوسيع نطاق التدريب إلى بيانات حقيقية غير مصنفة. يجمع إطارنا بين التعلم العميق والرؤية الهندسية لحل مسألة وضع الروبوت، ويتميز بأنبوب العمل الخاص به بأنه قابل للمفاضلة بالكامل.لتدريب شبكة تقدير وضع الكاميرا بالنسبة للروبوت (CtRNet)، نستفيد من تقسيم المقدمة والرسم الداخلي القابل للمفاضلة لتحقيق إشراف ذاتي على مستوى الصورة. يتم تصوير توقع الوضع عبر محرك رسم وتعكس خسارة الصورة مع الصورة الإدخالية خلال الشبكة العصبية للتدريب. تؤكد نتائج التجارب لدينا على مجموعة بيانات حقيقية عامة أن طريقتنا أكثر فعالية من الأعمال الموجودة حالياً. كما نقوم بدمج إطارنا في نظام تحكم بصري لتوضيح إمكانات تقدير وضع الروبوت بدقة وفي الوقت الحقيقي للأعمال الآلية.