الرؤية الهندسية القابلة للتعلم من الطرف إلى الطرف من خلال تمرير التحسين PnP عكسيًا

تُظهر الشبكات العميقة كفاءة عالية في تعلم الأنماط من كميات كبيرة من البيانات. من ناحية أخرى، يتم تحديد العديد من مهام الرؤية الهندسية على شكل مسائل تحسين. ولدمج التعلم العميق والرؤية الهندسية بشكل سلس، يُعدّ من الضروري إجراء التعلم والتحسين الهندسي من البداية إلى النهاية (end-to-end). من أجل هذا الهدف، نقدم BPnP، وحدة شبكة جديدة تقوم بتحويل التدرجات عبر حلّال مسألة النقطة-المنظر (Perspective-n-Points أو PnP) لتوجيه تحديثات المعاملات في الشبكة العصبية. وباستخدام التفاضل الضمني (implicit differentiation)، نُظهر أن التدرجات الخاصة بحلّال PnP "ذاتي التكامل" يمكن استخلاصها بدقة وكفاءة، وكأن وحدة المُحسّن كانت دالة قابلة للتفاضل. وقد قمنا بتحقق من أداء BPnP من خلال دمجه في نموذج عميق قادر على تعلّم المعاملات الداخلية للكاميرا، والمعاملات الخارجية (المواقع)، والهيكل ثلاثي الأبعاد من مجموعات التدريب. علاوة على ذلك، طوّرنا خط أنابيب قابلاً للتدريب من البداية إلى النهاية لتقدير وضعية الكائن، والذي يحقق دقة أعلى من خلال دمج خسائر الخريطة الحرارية القائمة على الميزات مع أخطاء إعادة التمثيل ثنائية-ثلاثية الأبعاد. وبما أن نهجنا يمكن توسيعه إلى مسائل تحسين أخرى، فإن عملنا يُسهم في إزالة العقبات أمام إجراء الرؤية الهندسية القابلة للتعلم بطريقة منهجية ومقنعة. يتوفر تنفيذ BPnP باستخدام مكتبة PyTorch على الرابط: http://github.com/BoChenYS/BPnP.