Eine robuste Objekterkennung und -verfolgung ist entscheidend für die Einführung autonomer Fahrzeugtechnologie. Bildbasierte Benchmark-Datensätze haben die Entwicklung von Computer Vision-Aufgaben wie der Erkennung, Verfolgung und Segmentierung von Akteuren in der Umgebung vorangetrieben. Die meisten autonomen Fahrzeuge verfügen jedoch über eine Kombination aus Kameras und Entfernungssensoren wie Lidar und Radar. Da maschinelles Lernen in der Objekterkennung und -verfolgung zunehmend an Bedeutung gewinnt, besteht ein Bedarf daran, solche Methoden auf Datensätzen zu trainieren und zu evaluieren, die sowohl Entfernungssensor- als auch Bilddaten enthalten. In dieser Arbeit stellen wir nuTonomy Szenen (nuScenes) vor, den ersten Datensatz, der das gesamte Sensorensystem eines autonomen Fahrzeugs umfasst: 6 Kameras, 5 Radare und 1 Lidar, alle mit einem vollen 360-Grad-Blickfeld. nuScenes besteht aus 1000 Szenen, jede 20 Sekunden lang und vollständig mit 3D-Bounding-Boxen für 23 Klassen und 8 Attribute annotiert. Es enthält siebenmal so viele Annotationen und hundertmal so viele Bilder wie der pionierhafte KITTI-Datensatz. Wir definieren neue Metriken für die 3D-Erkennung und -Verfolgung. Darüber hinaus liefern wir eine sorgfältige Datensatzanalyse sowie Baselines für Lidar- und bildbasierte Erkennung und Verfolgung. Daten, Entwicklungskit und weitere Informationen sind online verfügbar.