DenseFusion: تقدير وضعية الكائن ثلاثية الأبعاد وثنائية الأبعاد من خلال الاندماج الكثيف التكراري

التحدي الفني الرئيسي في تقدير وضعية الكائنات الستة الأبعاد من صور RGB-D هو الاستفادة الكاملة من مصدرَي البيانات المكملين لبعضهما البعض. الأعمال السابقة إما استخرجت المعلومات من صورة RGB والعمق بشكل منفصل، أو استخدمت خطوات ما بعد المعالجة باهظة الثمن، مما قيّد أدائها في المشاهد ذات الاكتظاظ العالي وفي التطبيقات الزمنية الحقيقية. في هذا العمل، نقدم DenseFusion، وهو إطار عام لتقدير وضعية الكائنات الستة الأبعاد من صور RGB-D. يُعد DenseFusion معمارًا متنوعًا يعالج مصدرَي البيانات بشكل مستقل ويستخدم شبكة تجميع كثيفة جديدة لاستخراج تمثيلات ميزات كثيفة على مستوى البكسل، منها يتم تقدير الوضعية. بالإضافة إلى ذلك، ندمج عملية تكرار تحسين الوضعية من النهاية إلى النهاية (end-to-end iterative pose refinement)، مما يحسن تقدير الوضعية بشكل أكبر مع تحقيق استدلال قريب من الزمن الحقيقي. تظهر تجاربنا أن طريقتنا تتفوق على أفضل الأساليب الحالية في مجموعتي بيانات YCB-Video وLineMOD. كما نقوم بتطبيق طريقة المقترحة لدينا على روبوت حقيقي للإمساك بالكائنات وتلاعبها بناءً على الوضعية المقدرة.