Datensätze treiben den Fortschritt im Bereich der Bildverarbeitung voran, jedoch sind bestehende Datensätze für autonome Fahrzeuge in Bezug auf visuellen Inhalt und unterstützte Aufgaben zur Untersuchung des Multitask-Learnings (multitask learning) eingeschränkt. Forscher sind in der Regel darauf beschränkt, eine kleine Menge von Problemen anhand eines einzelnen Datensatzes zu untersuchen, während realweltliche Computer Vision-Anwendungen die Durchführung von Aufgaben unterschiedlicher Komplexität erfordern. Wir erstellen BDD100K, den größten Fahrvideo-Datensatz mit 100.000 Videos und 10 Aufgaben, um den erstaunlichen Fortschritt von Bilderkennungsalgorithmen bei autonomen Fahrzeugen zu bewerten. Der Datensatz verfügt über geografische, Umwelt- und Wettervielfalt, was nützlich ist, um Modelle zu trainieren, die weniger überrascht werden, wenn sie neuen Bedingungen gegenüberstehen. Basierend auf diesem vielseitigen Datensatz bauen wir eine Benchmark für heterogenes Multitask-Learning (heterogeneous multitask learning) auf und untersuchen, wie die Aufgaben gemeinsam gelöst werden können. Unsere Experimente zeigen, dass spezielle Trainingsstrategien erforderlich sind, damit existierende Modelle solche heterogenen Aufgaben ausführen können. BDD100K öffnet die Tür für zukünftige Studien in dieser wichtigen Forschungsrichtung.