堅牢な物体検出および追跡は、自動運転車両技術の展開において重要な役割を果たします。画像ベースのベンチマークデータセットは、環境中のエージェントの検出、追跡、セグメンテーションなどのコンピュータビジョンタスクの開発を推進してきました。しかし、ほとんどの自動運転車両はカメラとLiDAR（ライダー）、レーダーなどの距離センサの組み合わせを搭載しています。機械学習に基づく検出および追跡手法がますます一般的になるにつれて、これらの手法を画像だけでなく距離センサデータも含むデータセットで訓練および評価する必要が生じています。本研究では、nuTonomy scenes（nuScenes）というデータセットを紹介します。これは初めて完全な自動運転車両センサスイート（6つのカメラ、5つのレーダー、1つのLiDAR）を搭載し、すべて360度全方位視野を持つデータセットです。nuScenesには1000シーンが含まれおり、各シーンは20秒間で23クラスと8属性の3Dバウンディングボックスで完全にアノテーションされています。このデータセットは先駆的なKITTIデータセットよりも7倍多くのアノテーションと100倍多い画像数を持っています。また、新しい3D検出および追跡指標を定義しています。さらに、LiDARと画像に基づく検出および追跡のための慎重なデータセット分析と基準モデルも提供しています。データ、開発キット、その他の詳細情報はオンラインで公開されています。