vFusedSeg3D: الحل الذي حصل على المرتبة الثالثة في مسابقة مجموعة بيانات Waymo Open 2024 للتصنيف الدلالي

في هذه الدراسة الفنية، نقدم نظام VFusedSeg3D، وهو نظام مبتكر للدمج متعدد الوسائط طوّرته فريق VisionRD، يجمع بين بيانات الكاميرا وبيانات ليدار لتعزيز دقة الإدراك ثلاثي الأبعاد بشكل كبير. يستخدم VFusedSeg3D المحتوى الدلالي الغني في صور الكاميرا مع قدرة ليدار الدقيقة على قياس العمق لتكوين فهم قوي وشامل للبيئة، مما يعالج القيود المتأصلة في كل وسيلة على حدة. من خلال بنية شبكة مدروسة بعناية تُتماشى وتوحّد المعلومات في مراحل مختلفة، فإن تقنية الدمج المميزة لدينا تدمج الخصائص الهندسية المستمدة من سحابات نقاط ليدار مع الخصائص الدلالية المستمدة من صور الكاميرا. وباستخدام تقنيات متعددة الوسائط، تم تحسين الأداء بشكل ملحوظ، حيث بلغ متوسط التداخل بين التوقعات والواقع (mIoU) مستوى قياسيًا بلغ 72.46٪ على مجموعة التحقق، مقارنة بالمستوى السابق البالغ 70.51٪. يُعد VFusedSeg3D معيارًا جديدًا في دقة التجزئة ثلاثية الأبعاد، مما يجعله حلًا مثاليًا للتطبيقات التي تتطلب إدراكًا دقيقًا للبيئة.