Radar+RGB Aufmerksamkeitsbasierte Fusion für robuste Objekterkennung in autonomen Fahrzeugen

Diese Arbeit präsentiert zwei Varianten einer Architektur, die als RANet und BIRANet bezeichnet werden. Die vorgeschlagene Architektur zielt darauf ab, Radardaten zusammen mit RGB-Kamerabildern zu nutzen, um ein robusteres Detektionsnetzwerk zu erstellen, das auch unter wechselnden Licht- und Wetterbedingungen – wie Regen, Staub, Nebel und anderen – effizient funktioniert. Zunächst erfolgt die Fusion von Radardaten im Merkmalsextraktor-Netzwerk. Zweitens werden Radarpunkte genutzt, um geführte Anchor-Regionen zu generieren. Drittens wird ein Verfahren vorgeschlagen, um die Ziele des Region Proposal Networks (RPN) zu verbessern. BIRANet erreicht auf dem NuScenes-Datensatz eine durchschnittliche AP/AR von 72,3 %/75,3 %, was eine bessere Leistung als unsere Basisarchitektur Faster-RCNN mit Feature-Pyramiden-Netzwerk (FFPN) darstellt. RANet erzielt auf demselben Datensatz eine durchschnittliche AP/AR von 69,6 %/71,9 %, was eine durchaus akzeptable Leistung darstellt. Zudem zeigen sowohl BIRANet als auch RANet eine hohe Robustheit gegenüber Rauschen.