Jiawei Wang Haowei Sun Xintao Yan Shuo Feng Jun Gao Henry X. Liu

초록

엔드투엔드(E2E) 자율주행 시스템의 안전하고 확장 가능한 배포를 위해서는 특히 안전 핵심 사건을 포함한 광범위하고 다양한 데이터가 필요하다. 기존의 데이터는 대부분 시뮬레이터에서 생성되며, 현실과의 격차(sim-to-real gap)가 크거나, 실제 도로에서 수집된 데이터이지만 비용이 크고 안전성 문제를 동반한다. 본 논문에서는 세계 어디서든 엔드투엔드 자율주행을 위한 현실적이고 지리적으로 다양한 안전 핵심 데이터를 자동으로 생성하는 TeraSim-World라는 파이프라인을 제안한다. TeraSim-World는 임의의 위치에서 시작하여 지리공간 데이터 소스로부터 실제 지도 정보와 교통 수요 데이터를 가져온다. 이후 자연스러운 운전 데이터셋을 기반으로 에이전트의 행동을 시뮬레이션하고, 다양한 위기 상황을 조정하여 극한 사례(cornor cases)를 생성한다. 동일 위치의 스트리트 뷰 정보를 바탕으로, 최전방 영상 생성 모델인 Cosmos-Drive를 활용하여 지리적으로 근거를 갖춘 사진 수준의 사실감 있는 센서 렌더링을 달성한다. 에이전트 시뮬레이션과 센서 시뮬레이션을 연결함으로써, TeraSim-World는 E2E 자율주행 시스템의 학습 및 평가를 위한 확장 가능하고 핵심적인 데이터 생성 프레임워크를 제공한다.