CoBEV: رفع كشف الأجسام ثلاثية الأبعاد على جانب الطريق من خلال التكامل بين العمق والارتفاع

كشف الكاميرات الجانبية للطرق عن كشف الأجرام ثلاثية الأبعاد مهمة حاسمة في أنظمة النقل الذكية، حيث تمتد نطاق الرؤية وتجاوز القيود المفروضة على المركبات ذات الرؤية المركزية، مما يعزز من سلامة الطرق. وعلى الرغم من القيود التي تواجهها الدراسات السابقة التي تعتمد فقط على معلومات العمق أو الارتفاع، فإننا نجد أن كلاً من العمق والارتفاع يلعبان دورًا مهمًا، وهم في الواقع مكملان لبعضهما البعض. تُمثّل ميزة العمق معلومات هندسية دقيقة، بينما تركز ميزة الارتفاع بشكل أساسي على التمييز بين فئات مختلفة من الفواصل الارتفاعية، مما يوفر في الأساس سياقًا معنويًا. يُحفّز هذا التميّز تطوير إطار عمل جديد للكشف ثلاثي الأبعاد من نوع مونوكولار (أحادي العدسة) يُسمى CoBEV (ممثل BEV المكمل)، والذي يدمج العمق والارتفاع لبناء تمثيلات BEV قوية. وبشكل أساسي، يُقدّر CoBEV توزيع العمق والارتفاع لكل بكسل، ثم يرفع ميزات الكاميرا إلى الفضاء ثلاثي الأبعاد لإجراء دمج جانبي باستخدام وحدة اختيار الميزات المكملة ذات المراحل الثنائية (CFS) التي تم اقتراحها حديثًا. كما تم دمج إطار عمل تقطيع ميزات BEV بشكل سلس لتعزيز دقة الكشف بشكل إضافي من خلال المعرفة السابقة التي يمتلكها المعلم المُدمج (CoBEV) الذي يعتمد على نمط التجميع. أجرينا تجارب واسعة النطاق على معايير كشف ثلاثية الأبعاد العامة المبنية على كاميرات جانبية للطرق، مثل DAIR-V2X-I وRope3D، بالإضافة إلى مجموعة بيانات خاصة تُسمى Supremind-Road، وأظهرت النتائج أن CoBEV لا يحقق فقط دقة تُمثّل الحد الأقصى الجديد في الأداء، بل يُسهم أيضًا في تحسين القدرة على التحمل بشكل كبير مقارنة بالطرق السابقة في السيناريوهات الصعبة ذات المسافات الطويلة والاضطرابات الصوتية الناتجة عن الكاميرات، كما يُعزز التعميم بشكل كبير في البيئات المتنوعة التي تتسم بتغيرات حادة في مشهد المشهد ومتغيرات الكاميرا. لأول مرة، تصل درجة دقة المركبة (AP) لنموذج كاميرا إلى 80% على DAIR-V2X-I في حالة الوضع السهل. وسيتم إتاحة الشفرة المصدرية بشكل عام عبر الرابط: https://github.com/MasterHow/CoBEV.