vFusedSeg3D: Lösung auf Platz 3 beim 2024 Waymo Open Dataset Challenge im Bereich der semantischen Segmentierung

In dieser technischen Studie stellen wir VFusedSeg3D vor, ein innovatives multimodales Fusionsystem, das von dem VisionRD-Team entwickelt wurde und Kameras- und LiDAR-Daten kombiniert, um die Genauigkeit der 3D-Wahrnehmung erheblich zu steigern. VFusedSeg3D nutzt die reichhaltige semantische Information aus Kamerasignalen sowie die präzise Tiefensensierung von LiDAR, um eine robuste und umfassende Umweltwahrnehmung zu erzeugen und die inhärenten Einschränkungen jeder einzelnen Modality zu überwinden. Durch eine sorgfältig entworfene Netzarchitektur, die die Informationen auf verschiedenen Stufen ausrichtet und fusioniert, integriert unsere neuartige Merkmalsfusionsmethode geometrische Merkmale aus LiDAR-Punktwolken mit semantischen Merkmalen aus Kamerasignalen. Durch den Einsatz multimodaler Techniken wurde die Leistung signifikant verbessert und erreichte auf dem Validierungssatz einen state-of-the-art mIoU-Wert von 72,46 %, gegenüber dem vorherigen Wert von 70,51 %. VFusedSeg3D setzt eine neue Benchmark in der Genauigkeit der 3D-Segmentierung und stellt somit eine ideale Lösung für Anwendungen dar, die eine präzise Umweltwahrnehmung erfordern.