تقدير وضعية الروبوت الشاملة في الوقت الحقيقي مع حالات غير معروفة

تقدير وضع الروبوت من صور RGB هو مشكلة حاسمة في رؤية الحاسوب وعلم الروبوتات. رغم أن الطرق السابقة حققت أداءً مبشّراً، فإن معظمها تفترض المعرفة الكاملة بحالة الروبوت الداخلية، مثل زوايا مفاصل الروبوت الحقيقية. ومع ذلك، هذا الافتراض ليس دائماً صالحاً في المواقف العملية. في التطبيقات الواقعية مثل التعاون بين عدة روبوتات أو التفاعل بين الإنسان والروبوت، قد لا يتم مشاركة حالة مفاصل الروبوت أو يمكن أن تكون غير موثوقة. من ناحية أخرى، تعاني الطرق الحالية التي تقدير وضع الروبوت دون افتراض حالة المفصل من أعباء حسابية ثقيلة وبالتالي لا تستطيع دعم التطبيقات الزمنية الحقيقية. يقدم هذا العمل إطاراً فعالاً لتقدير وضع الروبوت في الوقت الحقيقي من صور RGB دون الحاجة إلى معرفة حالة الروبوت. يقدّر طريقة تقديرنا دوران الكاميرا بالنسبة للروبوت، ومعلمات حالة الروبوت، ومواقع النقاط الرئيسية، وعمق الجذر، مستخدماً وحدة شبكة عصبية لكل مهمة لتسهيل التعلم والانتقال من البيئة المحاكاة إلى البيئة الحقيقية. مما يجدر ذكره أنه يحقق الاستدلال في عملية تغذية واحدة دون الحاجة إلى التحسين التكراري. تقدم طريقتنا زيادة سرعة بمقدار 12 مرة مع دقة متقدمة على مستوى الطليعة، مما يمكن لأول مرة من تقدير وضع الروبوت الشامل في الوقت الحقيقي. الرمز والموديلات متاحة على https://github.com/Oliverbansk/Holistic-Robot-Pose-Estimation.