FIERY: Zukünftige Instanzvorhersage in Vogelperspektive aus umgebenden Einzellinsenkameras

Das Fahren erfordert die Interaktion mit Verkehrsteilnehmern und die Vorhersage ihres zukünftigen Verhaltens, um sicher zu navigieren. Wir stellen FIERY vor: ein wahrscheinlichkeitstheoretisches Modell zur Zukunftsvorhersage aus Vogelperspektive auf Basis von monokularen Kameras. Unser Modell prognostiziert die zukünftige Instanzsegmentierung und Bewegung dynamischer Verkehrsteilnehmer, die in nichtparametrische zukünftige Trajektorien transformiert werden können. Unser Ansatz kombiniert die Wahrnehmungs-, Sensorfusion- und Vorhersagekomponenten eines traditionellen autonomen Fahrzeugs durch direkte Schätzung der Vogelperspektivischen Vorhersage aus den Eingaben der umgebenden RGB-Monokameras. FIERY lernt das inhärent stochastische Wesen der Zukunft ausschließlich aus Fahrdaten von Kameras in einem end-to-end-Prozess, ohne auf hochgenaue Karten (HD maps) zu verzichten, und prognostiziert multimodale zukünftige Trajektorien. Wir zeigen, dass unser Modell die bisherigen Vorhersagebaselines in den Datensätzen NuScenes und Lyft übertrifft. Der Quellcode und die trainierten Modelle sind unter https://github.com/wayveai/fiery verfügbar.