BEVStereo: تحسين تقدير العمق في كشف الكائنات ثلاثية الأبعاد متعدد الرؤى باستخدام الاستereo الزمني الديناميكي

محدودة بالغموض المتأصّل في إدراك العمق، تواجه الطرق الحديثة للكشف عن الأجسام ثلاثية الأبعاد المستندة إلى الكاميرات حافة أداء مُعَرَّضة للانسداد. بشكلٍ طبيعي، يُعدّ استخدام تقنية الرؤية الثلاثية عبر المشاهد المتعددة عبر الزمن (MVS) المعرفة الطبيعية للتعامل مع هذا الغموض. ومع ذلك، فإن المحاولات التقليدية لتقنية MVS تعاني من عيوب في جوانبَ اثنتين عند تطبيقها في سيناريوهات الكشف عن الأجسام ثلاثية الأبعاد: 1) يعاني قياس التماسك بين جميع المشاهد من تكاليف حسابية باهظة؛ 2) يصعب التعامل مع السيناريوهات الخارجية التي تكون فيها الأجسام غالبًا متحركة. ولحل هذه المشكلة، نُقدّم طريقةً فعّالةً للرؤية ثلاثية الأبعاد عبر الزمن، تُمكّن من اختيار مقياس مطابقة مرشّحات ديناميكيًا، مما يُقلّل بشكل كبير من عبء الحوسبة. ونذهب أبعد من ذلك، حيث نصمم خوارزمية تكرارية لتحديث المرشّحات الأكثر قيمة، مما يجعلها قادرة على التكيّف مع المرشّحات المتحركة. ونُطبّق الطريقة المقترحة في مُكتشف 3D متعدد المشاهد، ونُسمّيها BEVStereo. تحقق BEVStereo أداءً جديدًا على مستوى الحالة الحالية (أي 52.5% mAP و61.0% NDS) في المسار المُعتمد فقط على الكاميرات في مجموعة بيانات nuScenes. وفي الوقت نفسه، تُظهر التجارب الواسعة أن طريقةً لدينا تتفوّق على الطرق الحديثة المستندة إلى MVS في التعامل مع السيناريوهات الخارجية المعقدة. تم إصدار الشيفرة المصدرية على الرابط: https://github.com/Megvii-BaseDetection/BEVStereo.