LXL: LiDAR-exkludierter, leaner 3D-Objekterkennung mit Fusionsansatz aus 4D-Bildradar und Kamera

Als eine aufkommende Technologie und ein vergleichsweise kostengünstiges Gerät hat sich der 4D-Bildradar bereits als wirksam bei der 3D-Objekterkennung im autonomen Fahren erwiesen. Dennoch behindern die Spärlichkeit und Rauschempfindlichkeit der 4D-Radar-Punktwolken eine weitere Leistungssteigerung, und es fehlen tiefgreifende Studien zur Fusion mit anderen Modalitäten. Andererseits hat sich als neue Strategie zur Bildansichtstransformation „Sampling“ in einigen bildbasierten Detektoren bewährt und zeigt eine bessere Leistung als die weit verbreitete „depth-based splatting“-Methode, wie sie im Lift-Splat-Shoot (LSS)-Ansatz vorgeschlagen wurde, selbst ohne Vorhersage von Bildtiefen. Dennoch wird das volle Potenzial von „Sampling“ bisher nicht ausgeschöpft. Diese Arbeit untersucht die „Sampling“-Ansichtstransformationsstrategie im Kontext der Fusion von Kamera und 4D-Bildradar für die 3D-Objekterkennung. Der LiDAR Excluded Lean (LXL)-Modell generiert aus Bild-Perspektivansicht (PV)-Features vorausgesagte Tiefenverteilungskarten und aus Radar-Bird’s-Eye-View (BEV)-Features 3D-Radar-Besetzungsgrid. Diese werden dem Kern des LXL-Modells, der sogenannten „radar occupancy-assisted depth-based sampling“-Einheit, zugeführt, um die Bildansichtstransformation zu unterstützen. Wir zeigen, dass durch die Einbeziehung von Bilddaten und Radarinformationen die Genauigkeit der Ansichtstransformation signifikant verbessert werden kann, indem die „Sampling“-Strategie verstärkt wird. Experimente an den Datensätzen VoD und TJ4DRadSet belegen, dass die vorgeschlagene Methode die derzeit besten Ansätze für die 3D-Objekterkennung ohne zusätzliche Komplexitäten deutlich übertrifft. Ablationsstudien demonstrieren, dass unsere Methode unter verschiedenen Verbesserungskonfigurationen die beste Leistung erzielt.