الاستereo الزائف للكشف عن الكائنات ثلاثية الأبعاد بمنظر واحد في القيادة الذاتية

أحرزت كاشفات 3D المُزيفة ذات تقنية LiDAR تقدماً ملحوظاً في كشف 3D من منظور واحد من خلال تعزيز قدرة التمييز في العمق باستخدام شبكات تقدير العمق، واستخدام هياكل كشف 3D المستندة إلى LiDAR. كما يمكن لكاشفات 3D الاستريو المتقدمة من تحسين دقة تحديد موقع الأجسام ثلاثية الأبعاد. وتشير الفجوة بين التوليد الصوري من صورة إلى صورة استريو إلى أن الفجوة أقل بكثير مقارنةً بالتوليد من صورة إلى LiDAR. مستوحاة من هذا، نقترح إطار عمل جديد للكشف ثلاثي الأبعاد المُزيف الاستريو، يعتمد على ثلاث طرق مبتكرة لتوليد الرؤى الافتراضية، تشمل التوليد على مستوى الصورة، والتوليد على مستوى الميزات، والنسخ المُكرر للميزات، بهدف كشف الأجسام ثلاثية الأبعاد من صورة واحدة. وتبين تحليلنا للتعلم القائم على العمق أن خسارة العمق تكون فعالة فقط في توليد الرؤى الافتراضية على مستوى الميزات، بينما تكون خريطة العمق المقدرة فعالة في كل من التوليد على مستوى الصورة وعلى مستوى الميزات ضمن إطار عملنا. ونقترح استخدام تدوير ديناميكي مُوزع حسب التباين (disparity-wise dynamic convolution)، يعتمد على عينات نوى ديناميكية مستمدة من خريطة ميزات التباين، لتقليل الميزات بشكل تكيفي من صورة واحدة بهدف توليد ميزات صور افتراضية، مما يخفف من تدهور الميزات الناتج عن أخطاء تقدير العمق. وحتى تاريخ التقديم (18 نوفمبر 2021)، يحتل إطار عمل الكشف ثلاثي الأبعاد المُزيف الاستريو المرتبة الأولى في كشف السيارات، والمشاة، والدراجين ضمن الكاشفات ثلاثية الأبعاد من منظور واحد التي نُشرت على معيار KITTI-3D. وتم إتاحة الشفرة المصدرية عبر الرابط: https://github.com/revisitq/Pseudo-Stereo-3D.