DrivingDojo 自動運転データセット

DrivingDojo データセットは、中国科学院オートメーション研究所のパターン認識新研究室、中国科学院美団大学人工知能学部、香港人工知能とロボット工学によって 2024 年に共同作成されました。中国科学院の関連論文結果は「DrivingDojo データセット: インタラクティブで知識が豊富な運転世界モデルの推進」と題し、運転世界のインタラクティブで知識豊富なモデルの開発を進めることを目指しています。このデータ セットには約 18,000 のビデオ クリップが含まれており、特に現実世界の視覚的なインタラクションをシミュレートし、豊富な運転アクション、マルチ エージェント インタラクション、オープンワールドの運転知識をカバーしています。

DrivingDojo データセットは、完全なアクション、マルチエージェント インタラクション、およびオープンワールドの豊富な運転知識を特徴としています。加速、急ブレーキ、駐車、発進などの縦方向の操作だけでなく、Uターン、追い越し、車線変更などの横方向の操作も含まれます。さらに、このデータセットは、挿入、カットオフ、正面結合など、多数のマルチエージェント インタラクション軌跡を含むビデオを含めるように特別に設計されています。 DrivingDojo には、動物の横切り、ボトルの落下、道路の破片など、実際の運転シナリオで遭遇する可能性のあるまれなイベントのビデオも含まれています。

データセットのビデオ解像度は 1920 × 1080、フレーム レートは 5fps で、ビデオ クリップは北京、深セン、徐州などの中国の主要都市からのもので、さまざまな気象条件や日光条件の下で記録されました。すべてのビデオは、オンボードの HD マップ駆動の高精度測位スタックから派生した同期されたカメラ ポーズとペアになっています。 DrivingDojo-Open サブセットのビデオには、各ビデオで発生するまれなイベントに関するテキストの説明も組み合わされています。

運転シーンのモデリングの進歩を測定するために、DrivingDojo データセットは、合理的な将来のローリング予測を実行するワールド モデルの能力を評価するための新しいアクション指示追従 (AIF) ベンチマークも提案しています。このベンチマークは、与えられた命令と比較して、生成されたビデオ内のアクションの誤差を計算することにより、長期的なモーション制御性を評価します。

全体として、DrivingDojo データセットは、複雑な運転環境におけるワールド モデルの予測および制御能力を向上させることを目的として、自動運転分野に貴重なリソースを提供します。