PVNet: شبكة التصويت البكسلية لتقدير الوضعية بست درجات من الحرية

يتناول هذا البحث التحدي المتمثل في تقدير وضعية الـ 6 درجات من الحرية (6DoF) من صورة واحدة باللون والضوء (RGB) تحت ظروف الإخفاء الشديد أو القطع. أظهرت العديد من الأعمال الحديثة أن النهج ذو المرحلتين، الذي يكتشف النقاط الرئيسية أولاً ثم يحل مشكلة نقاط المنظور-ن (PnP) لتقدير الوضعية، حقق أداءً ملحوظًا. ومع ذلك، فإن معظم هذه الأساليب تحدد مجموعة من النقاط الرئيسية النادرة فقط عن طريق تقدير إحداثياتها في الصورة أو خرائط الحرارة، وهي حساسة للإخفاء والقطع. بدلاً من ذلك، نقدم شبكة تصويت بكسلية (Pixel-wise Voting Network - PVNet) لتقدير المتجهات الوحدوية البكسلية التي تشير إلى النقاط الرئيسية واستخدام هذه المتجهات للتصويت على مواقع النقاط الرئيسية باستخدام خوارزمية RANSAC. هذا يخلق تمثيلًا مرناً لتحديد مواقع النقاط الرئيسية المخفية أو المقطوعة. ميزة مهمة أخرى لهذا التمثيل هي أنه يوفر عدم اليقين في مواقع النقاط الرئيسية التي يمكن استخدامها بشكل أكبر بواسطة حلّال PnP. تُظهر التجارب أن النهج المقترح يتفوق على أفضل ما وصل إليه العلم في مجموعات بيانات LINEMOD وOcclusion LINEMOD وYCB-Video بمقدار كبير، مع كونه فعالًا لتقدير الوضعية الفوري. قمنا أيضًا بإنشاء مجموعة بيانات Truncation LINEMOD لتأكيد متانة نهجنا ضد القطع. سيتم توفير الكود في الرابط التالي: https://zju-3dv.github.io/pvnet/.