التطابق الثنائي المركزي للأشياء للكشف عن الأشياء ثلاثية الأبعاد

القيادة الآمنة ذاتية التحكم تتطلب اكتشافًا ثلاثي الأبعاد موثوقًا للأشياء-تحديد وضع الـ 6 درجات الحرية (DoF) وأبعاد الأشياء ذات الاهتمام. استخدام الكاميرات الاستريو لحل هذه المهمة هو بديل اقتصادي فعال للمستشعر الليدار (LiDAR) الشائع استخدامه. الحالة الحالية الأكثر تقدمًا في مجال اكتشاف الأشياء ثلاثية الأبعاد باستخدام الكاميرات الاستريو تعتمد على شبكة التطابق الاستريو PSMNet القائمة دون أي تعديلات، وتحويل الاختلافات المقدرة إلى سحابة نقاط ثلاثية الأبعاد، وإدخال هذه السحابة من النقاط إلى كاشف أشياء ثلاثي الأبعاد يستند إلى الليدار. المشكلة مع شبكات التطابق الاستريو الحالية هي أنها مصممة لتقدير الاختلافات، وليس لاكتشاف الأشياء ثلاثية الأبعاد؛ إذ ليست الدقة والشكل الخاص بسحابة نقاط الأشياء هو البؤرة. شبكات التطابق الاستريو غالبًا ما تعاني من تقديرات عمق غير دقيقة عند حدود الأشياء، والتي نعرّفها بالانسيابية (streaking)، لأن النقاط الخلفية والنقاط الأمامية يتم تقديرها بشكل مشترك. كما أن الشبكات الموجودة تفرض عقوبات على الاختلاف بدلاً من الموقع المقدر لسحابة نقاط الأشياء في دوال الخسارة الخاصة بها. نقترح طريقة جديدة لربط الصناديق ثنائية الأبعاد ومطابقة استريو مركزها على الأشياء التي تقدر فقط الاختلافات للأجسام ذات الاهتمام لمعالجة هذين المشكلتين. يحقق أسلوبنا نتائجًا رائدة في مقاييس KITTI ثلاثية الأبعاد وفي الرؤية الطولية (BEV).