DrivingDojo-Datensatz Für Autonomes Fahren

Der DrivingDojo-Datensatz wurde 2024 gemeinsam vom Pattern Recognition New Laboratory des Institute of Automation der Chinese Academy of Sciences, der School of Artificial Intelligence der University of Chinese Academy of Sciences, Meituan, und der Hong Kong Artificial Intelligence and Robotics erstellt Zentrum der Chinesischen Akademie der Wissenschaften. Die relevanten Papierergebnisse sind „DrivingDojo-Datensatz: Weiterentwicklung des interaktiven und wissensangereicherten Fahrweltmodells“, mit dem Ziel, die Entwicklung interaktiver und wissensreicher Modelle der Fahrwelt voranzutreiben. Dieser Datensatz enthält etwa 18.000 Videoclips, die speziell visuelle Interaktionen in der realen Welt simulieren und umfassende Fahraktionen, Interaktionen mit mehreren Agenten und Wissen über das Fahren in der offenen Welt abdecken.

Der DrivingDojo-Datensatz zeichnet sich durch vollständige Aktionen, Multi-Agent-Interaktionen und umfangreiches Open-World-Fahrwissen aus. Dazu gehören nicht nur Längsvorgänge wie Beschleunigen, Notbremsen sowie Einparken und Anfahren, sondern auch Quervorgänge wie Wenden, Überholen und Spurwechsel. Darüber hinaus ist der Datensatz speziell für die Aufnahme von Videos konzipiert, die eine große Anzahl von Multi-Agent-Interaktionsverläufen enthalten, wie z. B. Einfügung, Abschneiden und frontale Verschmelzung. DrivingDojo enthält auch Videos von seltenen Ereignissen wie sich überquerenden Tieren, heruntergefallenen Flaschen und Straßentrümmern, denen Sie in realen Fahrszenarien begegnen können.

Die Videoauflösung des Datensatzes beträgt 1920×1080 und die Bildrate beträgt 5 fps. Die Videoclips stammen aus großen Städten in China, darunter Peking, Shenzhen, Xuzhou usw., und wurden unter verschiedenen Wetterbedingungen und Tageslichtbedingungen aufgenommen. Alle Videos werden mit synchronisierten Kamerapositionen gepaart, die von einem integrierten HD-Map-gesteuerten hochpräzisen Positionierungsstapel abgeleitet werden. Videos in der Teilmenge „DrivingDojo-Open“ werden außerdem mit Textbeschreibungen zu den seltenen Ereignissen gepaart, die in jedem Video aufgetreten sind.

Um den Fortschritt bei der Modellierung von Fahrszenen zu messen, schlägt der DrivingDojo-Datensatz außerdem einen neuen Action Instruction Following (AIF)-Benchmark vor, um die Fähigkeit von Weltmodellen zu bewerten, vernünftige zukünftige rollende Vorhersagen zu treffen. Dieser Benchmark bewertet die langfristige Bewegungssteuerbarkeit, indem er den Fehler von Aktionen in generierten Videos im Vergleich zu gegebenen Anweisungen berechnet.

Insgesamt stellt der DrivingDojo-Datensatz eine wertvolle Ressource für den Bereich des autonomen Fahrens dar und zielt darauf ab, die Vorhersage- und Steuerungsfähigkeiten von Weltmodellen in komplexen Fahrumgebungen zu verbessern.