ReasonNet: End-to-End-Fahren mit zeitlicher und globaler Inferenz

Die großflächige Einführung autonome Fahrzeuge steht noch bevor, und eine der zentralen verbleibenden Herausforderungen liegt in dicht besiedelten urbanen Verkehrsszenarien. In solchen Fällen bleibt es weiterhin schwierig, die zukünftige Entwicklung der Szene sowie das zukünftige Verhalten von Objekten vorherzusagen, und es ist herausfordernd, seltene kritische Ereignisse wie das plötzliche Auftreten verdeckter Objekte zu bewältigen. In diesem Paper stellen wir ReasonNet vor, einen neuartigen end-to-end-Fahrrahmen, der sowohl zeitliche als auch globale Informationen der Fahrszene umfassend nutzt. Durch die Analyse des zeitlichen Verhaltens von Objekten kann unsere Methode die Interaktionen und Beziehungen zwischen Merkmalen in verschiedenen Bildern effektiv verarbeiten. Die Berücksichtigung der globalen Szeneninformation verbessert zudem die Gesamtleistung der Wahrnehmung und unterstützt insbesondere die Erkennung kritischer Ereignisse, insbesondere die Vorhersage potenzieller Gefahren durch verdeckte Objekte. Zur umfassenden Bewertung von Verdeckungsszenarien veröffentlichen wir außerdem öffentlich einen Fahr-Simulationsbenchmark namens DriveOcclusionSim, der eine Vielzahl unterschiedlicher Verdeckungsszenarien umfasst. Wir führen umfangreiche Experimente auf mehreren CARLA-Benchmarks durch, wobei unser Modell alle vorherigen Ansätze übertrifft und sich auf dem Sensor-Track des öffentlichen CARLA Leaderboard an erster Stelle befindet.