鲁棒的对象检测和跟踪对于自动驾驶技术的部署至关重要。基于图像的基准数据集推动了计算机视觉任务的发展，例如环境中的对象检测、跟踪和分割。然而，大多数自动驾驶车辆配备了摄像头和诸如激光雷达（Lidar）和雷达（Radar）等测距传感器的组合。随着基于机器学习的检测和跟踪方法日益普及，需要在包含测距传感器数据和图像的数据集上训练和评估这些方法。在这项工作中，我们介绍了nuTonomy场景（nuScenes），这是首个包含完整自动驾驶车辆传感器套件的数据集：6个摄像头、5个雷达和1个激光雷达，所有传感器均具有360度全景视场。nuScenes由1000个场景组成，每个场景持续20秒，并完全标注了23类对象的3D边界框及8种属性。该数据集的标注数量是开创性的KITTI数据集的7倍，图像数量则是其100倍。我们定义了新的3D检测和跟踪指标，并提供了对数据集的详细分析以及基于激光雷达和图像的检测和跟踪基线。数据、开发工具包及相关信息均可在线获取。