Jiawei Wang Haowei Sun Xintao Yan Shuo Feng Jun Gao Henry X. Liu

要約

エンドツーエンド（E2E）自動運転システムの安全かつスケーラブルな展開には、特に安全に直結する事象を含む広範かつ多様なデータが不可欠である。現存のデータは、シミュレータから生成されたものが多く、シミュレーションと現実世界との間に大きなギャップ（sim-to-real gap）が存在する。また、道路走行テストから収集されたデータは、費用が高く、かつ安全上のリスクを伴う。本論文では、世界中の任意の場所で、現実性に富み地理的に多様な安全に直結するデータを自動的に合成するためのパイプライン「TeraSim-World」を提案する。TeraSim-Worldは、任意の地点を起点として、地理空間データソースから実世界の地図情報および交通需要データを取得する。次に、自然主義的ドライビングデータセットを用いてエージェントの行動をシミュレートし、多様な悪条件（adversities）を構成することで、極限事例（corner cases）を創出する。同一地点のストリートビューをもとに、最新の前線ビデオ生成モデル「Cosmos-Drive」を用いて、写実的かつ地理的に根ざしたセンサレンダリングを実現する。本研究は、エージェントシミュレーションとセンサシミュレーションを統合することで、E2E自動運転システムの学習および評価に向けたスケーラブルかつ重要なデータ合成フレームワークを提供する。