La détection et le suivi robustes d'objets sont essentiels pour le déploiement de la technologie des véhicules autonomes. Les ensembles de données de référence basés sur des images ont stimulé le développement de tâches en vision par ordinateur, telles que la détection, le suivi et la segmentation d'agents dans l'environnement. La plupart des véhicules autonomes, cependant, sont équipés d'une combinaison de caméras et de capteurs de distance tels que les lidars et les radars. Alors que les méthodes basées sur l'apprentissage automatique pour la détection et le suivi deviennent de plus en plus courantes, il est nécessaire de former et d'évaluer ces méthodes sur des ensembles de données contenant des données de capteurs de distance ainsi que des images.Dans cette étude, nous présentons nuTonomy scenes (nuScenes), le premier ensemble de données à inclure l'intégralité du dispositif de capteurs d'un véhicule autonome : 6 caméras, 5 radars et 1 lidar, tous dotés d'un champ de vision complet à 360 degrés. nuScenes comprend 1000 scènes, chacune durant 20 secondes et entièrement annotées avec des boîtes englobantes 3D pour 23 classes et 8 attributs. Il contient 7 fois plus d'annotations et 100 fois plus d'images que l'ensemble de données pionnier KITTI. Nous définissons également de nouvelles métriques pour la détection et le suivi en 3D. Nous fournissons une analyse minutieuse du jeu de données ainsi que des points de référence pour la détection et le suivi basés sur les lidars et les images.Les données, le kit de développement et plus d'informations sont disponibles en ligne.