Kalibrierungsfreie BEV-Darstellung für die Infrastruktur-Wahrnehmung

Effektive BEV-Objektdetektion auf Infrastrukturkomponenten kann die Verständnisfähigkeit von Verkehrsszenen und die kooperative Wahrnehmung zwischen Fahrzeug und Infrastruktur (V2I) erheblich verbessern. Allerdings weisen Kameras, die an Infrastruktur installiert sind, unterschiedliche Orientierungen auf, und bisherige BEV-Detektionsmethoden setzen eine präzise Kalibrierung voraus, was für praktische Anwendungen aufgrund unvermeidlicher natürlicher Faktoren (z. B. Wind und Schnee) schwierig ist. In diesem Artikel stellen wir ein kalibrierungsfreies BEV-Repräsentationsnetzwerk (Calibration-free BEV Representation, CBR) vor, das 3D-Detektion auf Basis einer BEV-Repräsentation ohne Kalibrierparameter und zusätzliche Tiefensupervision ermöglicht. Konkret nutzen wir zwei mehrschichtige Perzeptronen, um Merkmale aus der perspektivischen Ansicht in die Vorderansicht und die Vogelperspektive unter Verwendung von durch Objektkästen induzierter Vordergrund-Supervision zu entkoppeln. Anschließend führt ein cross-view Merkmalsfusion-Modul Merkmale aus orthogonalen Ansichten basierend auf Ähnlichkeit zusammen und verbessert die BEV-Merkmale mit Hilfe der Vorderansichts-Merkmale. Experimentelle Ergebnisse auf DAIR-V2X zeigen, dass CBR akzeptable Leistung erzielt, ohne jegliche Kameraparameter zu benötigen, und daher naturgemäß nicht von Kalibrierungsstörungen beeinflusst wird. Wir hoffen, dass CBR als Baseline für zukünftige Forschungsarbeiten zur Bewältigung praktischer Herausforderungen der Infrastrukturwahrnehmung dienen kann.