Belegungsnetzwerk

Occupancy Network ist eine neue Darstellung für lernbasierte 3D-Rekonstruktionsmethoden. Dieses Konzept wurde erstmals 2018 in dem Artikel „Belegungsnetzwerke: 3D-Rekonstruktion im Funktionsraum erlernen“, das von CVPR 2019 angenommen wurde.

Die Kernidee des Occupancy Network besteht darin, durch Vorhersage der Belegungswahrscheinlichkeit im 3D-Raum eine einfache 3D-Raumdarstellung zu erhalten. Anstatt sich auf die herkömmliche 3D-Objekterkennung zu verlassen, unterteilt dieser Ansatz die Welt in winzige Würfel oder Voxel und sagt voraus, ob jedes Voxel frei oder belegt ist. Dadurch kann das Occupancy Network mit über 100 FPS laufen, ist äußerst speichereffizient und kann sowohl bewegte als auch statische Objekte verstehen.

Tesla stellte das Konzept des Occupancy Network auf dem CVPR 2022 und dem Tesla AI Day vor und demonstrierte seine Anwendung in Wahrnehmungssystemen. Die Modellstruktur des Occupancy Network von Tesla umfasst das Extrahieren von Merkmalen aus Bildern aus mehreren Perspektiven, das anschließende Vorhersagen der Belegung durch Aufmerksamkeitsmodule und Transformatoren und schließlich die Ausgabe des 3D-Raumbelegungsvolumens und des Belegungsflusses.

Darüber hinaus wird Occupancy Network mit der Neural Radiance Field (NeRF)-Technologie kombiniert, um zu überprüfen, ob die vorhergesagte 3D-Szene mit der tatsächlichen Szene übereinstimmt, indem das vom Occupancy Network generierte 3D-Volumen mit der von NeRF erstellten 3D-rekonstruierten Szene verglichen wird. Diese Methode hilft, komplexe Umgebungsprobleme wie Okklusion, Bildunschärfe, Regen und Nebel zu lösen.

Im Bereich des autonomen Fahrens bietet Occupancy Network eine neue Perspektive für die Bewältigung von Wahrnehmungsaufgaben und zeigt seine einzigartigen Vorteile insbesondere beim Umgang mit Longtail-Hindernissen und Objekten unbekannter Kategorien. Mit der Weiterentwicklung der Technologie wird erwartet, dass Occupancy Network zu einem unverzichtbaren Bestandteil autonomer Fahrwahrnehmungssysteme wird.