CR3DT: دمج الكاميرا والرادار للكشف والتتبع ثلاثي الأبعاد

لتمكين المركبات ذاتية القيادة من الكشف الدقيق وتتبع الأجرام المحيطة بها، يعد الكشف والتتبع الدقيقان للأشياء المحيطة ضروريين. بينما أثبتت أجهزة الاستشعار التي تعتمد على تقنية LiDAR (Light Detection and Ranging) أنها معيار الأداء العالي، فإن جاذبية الحلول التي تعتمد فقط على الكاميرات تكمن في كفاءتها التكلفة. بشكل خاص، رغم استخدام أجهزة الاستشعار التي تعتمد على تقنية RADAR (Radio Detection and Ranging) بشكل شائع في أنظمة السيارات، إلا أن إمكاناتها في الكشف ثلاثي الأبعاد وتتبع الأجرام قد تم تجاهلها إلى حد كبير بسبب ندرة البيانات والضوضاء القياسية. كتطور حديث، بدأ الجمع بين أجهزة RADAR والكاميرات يظهر كحل واعد. يقدم هذا البحث نموذج CR3DT (Camera-RADAR 3D Detection and Tracking)، وهو نموذج دمج بين الكاميرا ورادار للكشف عن الأجسام ثلاثية الأبعاد وتتبع الأجسام المتعددة (MOT). بناءً على أساسيات هندسة BEVDet الحديثة التي تعتمد فقط على الكاميرات، يُظهر CR3DT تحسينات كبيرة في قدرات الكشف والتتبع من خلال دمج المعلومات المكانية والسرعة من جهاز الاستشعار الراداري. تُظهر النتائج التجريبية تحسيناً مطلقاً بنسبة 5.3% في دقة الكشف المتوسطة (mAP) وزادت نسبة دقة تتبع الأجسام المتعددة المتوسطة (AMOTA) بنسبة 14.9% على مجموعة بيانات nuScenes عند استخدام كلتا الوسيلتين معًا. يعمل CR3DT على ردم الفجوة بين أنظمة الإدراك عالية الأداء وكفؤة التكلفة في القيادة الذاتية، من خلال استغلال الحضور الشائع لأجهزة الرادار في التطبيقات السيارات. يمكن الوصول إلى الرمز البرمجي عبر الرابط: https://github.com/ETH-PBL/CR3DT.