هل يُعدّ Pseudo-Lidar ضروريًا للكشف عن الكائنات ثلاثية الأبعاد باستخدام عدسة واحدة؟

أحدث التقدم في كشف الأجسام ثلاثية الأبعاد من صور أحادية يعتمد على تقدير العمق الأحادي كوسيلة لإنتاج سحابات نقاط ثلاثية الأبعاد، مما يحوّل الكاميرات إلى أجهزة استشعار شبيهة بـ Lidar اصطناعيًا. تتحسن أجهزة الكشف ثنائية المراحل مع دقة شبكة تقدير العمق الوسيطة، التي يمكن تحسينها دون الحاجة إلى علامات يدوية من خلال التعلم الذاتي على نطاق واسع. ومع ذلك، فإن هذه الأساليب تعاني غالبًا من التعلم الزائد (Overfitting) أكثر من الطرق النهائية (end-to-end)، وهي أكثر تعقيدًا، كما أن الفجوة بين أدائها وأداء الطرق القائمة على Lidar لا تزال كبيرة. في هذه الدراسة، نقترح طريقة كشف أحادية المرحلة ونهائية (end-to-end) للأجسام ثلاثية الأبعاد من صور أحادية تُسمى DD3D، والتي تستفيد من التدريب المسبق على العمق مثل الطرق الشبيهة بـ Lidar، ولكن دون عيوبها. تم تصميم معمارية لدينا لضمان نقل فعّال للمعلومات بين تقدير العمق وكشف الأجسام ثلاثية الأبعاد، مما يمكّننا من التوسع مع كمية بيانات التدريب المسبق غير المُعلَّمة. حققت طريقة لدينا أفضل النتائج المُحققة حاليًا على بحثين صعبين، بتحقيق 16.34% و9.28% من متوسط الدقة (AP) للأجسام من نوع السيارات والمشاة (على التوالي) في معيار KITTI-3D، و41.5% من متوسط الدقة (mAP) على معيار NuScenes.