HGSFusion: Radar-Kamera-Fusion mit hybrider Generierung und Synchronisation für die 3D-Objekterkennung

Millimeterwellen-Radar spielt aufgrund seiner Fähigkeit, auch unter allen Wetter- und Beleuchtungsbedingungen eine zuverlässige Wahrnehmung zu gewährleisten, eine entscheidende Rolle bei der 3D-Objekterkennung für autonome Fahrzeuge. Allerdings leiden Radar-Punktwolken aufgrund ausgeprägter Sparsamkeit und unvermeidbarer Winkelschätzfehler. Um diese Einschränkungen zu überwinden, kann die Integration einer Kamera teilweise die Nachteile ausgleichen. Dennoch können direkte Fusionen von Radar- und Kameradaten aufgrund des Fehlens von Tiefeninformationen in Bildern sowie der geringen Qualität von Bildmerkmalen unter ungünstigen Beleuchtungsbedingungen negative oder sogar entgegengesetzte Effekte hervorrufen. Daher präsentieren wir in diesem Artikel das HGSFusion-Netzwerk, ein Radar-Kamera-Fusionsmodell mit hybrider Generierung und Synchronisation, das darauf abzielt, das Potenzial von Radardaten und Bilddaten effektiver zu kombinieren, um die 3D-Objekterkennung zu verbessern. Konkret schlagen wir den Radar-Hybriden-Generierungs-Modul (RHGM) vor, der die Direction-Of-Arrival (DOA)-Schätzfehler bei der Radarsignalverarbeitung vollständig berücksichtigt. Dieser Modul erzeugt durch die Verwendung unterschiedlicher Wahrscheinlichkeitsdichtefunktionen (PDFs) unter Nutzung semantischer Informationen dichtere Radar-Punkte. Gleichzeitig führen wir den Dual-Sync-Modul (DSM) ein, der aus einem räumlichen Synchronisations- und einem Modalitäts-Synchronisations-Teil besteht, um die Bilddaten durch Radar-Positionsinformationen zu verbessern und die Fusion unterschiedlicher Merkmale aus verschiedenen Modalitäten zu erleichtern. Umfangreiche Experimente belegen die Wirksamkeit unseres Ansatzes: Auf den Datensätzen VoD und TJ4DRadSet erreicht er gegenüber den Stand der Technik eine Verbesserung um 6,53 % und 2,03 % in RoI AP und BEV AP. Der Quellcode ist unter https://github.com/garfield-cpp/HGSFusion verfügbar.