PoET: نموذج تحويل الموضع لتقدير الوضع 6D متعدد الكائنات من منظور واحد

يُعد تقدير وضع الجسم بستة أبعاد (6D) مهمة مهمة لعدة تطبيقات روبوتية مثل الإمساك أو التحديد المكاني. ويعتبر هذا التحدي صعبًا بسبب التماثل في الأجسام، والتشويش، والاحتقان، كما يصبح أكثر صعوبة عند عدم توفر معلومات إضافية مثل الخرائط العمقية أو النماذج ثلاثية الأبعاد. نقدم نهجًا يستند إلى المحولات (Transformer) يأخذ صورة RGB كمدخل ويتنبأ بوضع 6D لكل جسم في الصورة. علاوة على الصورة، لا يتطلب شبكتنا أي معلومات إضافية مثل خرائط العمق أو النماذج ثلاثية الأبعاد للجسم. أولاً، تُمرر الصورة عبر كاشف كائنات لإنشاء خرائط ميزات وكشف الكائنات. ثم تُرسل خرائط الميزات إلى محول (Transformer) مع استخدام مربعات الحدود المكتشفة كمعلومات إضافية. بعد ذلك، يتم معالجة طلبات الكائنات الناتجة بواسطة وحدتين منفصلتين: واحدة للترجمة والأخرى للدوران. وحققنا نتائج من الطراز الرائد (state-of-the-art) للنهج التي تعتمد فقط على RGB على مجموعة بيانات YCB-V الصعبة. ونوضح مدى ملاءمة النموذج الناتج كمستشعر لوضع الجسم في مهام تقدير الحالة بستة درجات حرية (6-DoF). يُمكن الوصول إلى الكود من خلال الرابط: https://github.com/aau-cns/poet.