Jiawei Wang Haowei Sun Xintao Yan Shuo Feng Jun Gao Henry X. Liu

Abstract

Sichere und skalierbare Bereitstellung end-to-end (E2E)-autonomer Fahrzeuge erfordert umfangreiche und vielfältige Daten, insbesondere Daten zu sicherheitskritischen Ereignissen. Die derzeit verfügbaren Datensätze stammen überwiegend aus Simulatoren, die mit einer erheblichen Sim-to-Real-Lücke behaftet sind, oder wurden durch On-Road-Tests gesammelt, die kostspielig und unsicher sind. In diesem Artikel stellen wir TeraSim-World vor, eine automatisierte Pipeline, die realistische und geografisch vielfältige sicherheitskritische Daten für E2E-autonome Fahrsysteme weltweit synthetisiert. Aus einer beliebigen geografischen Lage heraus zieht TeraSim-World reale Straßenkarten und Verkehrsbedarfsdaten aus geospatialen Datenquellen ab. Anschließend simuliert sie Agentenverhalten anhand natürlicher Fahrdatensätze und orchestriert diverse kritische Situationen, um Randfälle zu generieren. Auf Basis von Straßenaufnahmen (Street Views) derselben Lage erreicht das System eine fotorealistische, geografisch fundierte Sensorrenderung mittels des fortschrittlichen Video-Generationsmodells Cosmos-Drive. Durch die Integration von Agenten- und Sensorsimulationen bietet TeraSim-World einen skalierbaren und entscheidenden Rahmen zur Daten-Synthese für das Training und die Evaluation von E2E-autonomen Fahrsystemen.