Ensemble De Données De Conduite Autonome DrivingDojo

L'ensemble de données DrivingDojo a été créé conjointement par le nouveau laboratoire de reconnaissance de formes de l'Institut d'automatisation de l'Académie chinoise des sciences, l'École d'intelligence artificielle de l'Université de l'Académie chinoise des sciences, Meituan, et le Centre de Hong Kong pour l'intelligence artificielle et la robotique de l'Académie chinoise des sciences en 2024.Ensemble de données DrivingDojo : Amélioration du modèle de conduite interactif et enrichi en connaissances», qui vise à promouvoir le développement de modèles interactifs et riches en connaissances du monde de la conduite. Cet ensemble de données contient environ 18 000 clips vidéo et est spécialement conçu pour simuler des interactions visuelles réelles, couvrant des actions de conduite riches, des interactions multi-agents et des connaissances de conduite en monde ouvert.

L'ensemble de données DrivingDojo se caractérise par l'exhaustivité de ses actions, ses interactions multi-agents et ses riches connaissances en matière de conduite en monde ouvert. Elle comprend non seulement les opérations longitudinales telles que l'accélération, le freinage d'urgence et l'arrêt-démarrage, mais également les opérations latérales telles que les demi-tours, les dépassements et les changements de voie. De plus, l'ensemble de données est spécialement conçu pour contenir un grand nombre de vidéos de trajectoires d'interaction multi-agents, telles que des insertions, des coupures et des fusions frontales. DrivingDojo inclut également des vidéos d'événements rares, tels que des animaux qui traversent, des bouteilles tombées et des débris de la route, susceptibles d'être rencontrés dans des scénarios de conduite réels.

La résolution vidéo de l'ensemble de données est de 1920 × 1080 et la fréquence d'images est de 5 ips. Les clips vidéo proviennent des principales villes de Chine, notamment Pékin, Shenzhen, Xuzhou, etc., et sont enregistrés dans différentes conditions météorologiques et de lumière du jour. Toutes les vidéos sont associées à des poses de caméra synchronisées dérivées d'une pile de localisation de haute précision pilotée par la carte HD embarquée. Les vidéos du sous-ensemble DrivingDojo-Open sont également associées à des descriptions textuelles sur les événements rares qui se sont produits dans chaque vidéo.

Pour mesurer les progrès dans la modélisation des scénarios de conduite, l'ensemble de données DrivingDojo propose également un nouveau benchmark Action Instruction Following (AIF) pour évaluer la capacité du modèle mondial à effectuer des prédictions futures raisonnables. Ce benchmark évalue la contrôlabilité des mouvements à long terme en calculant l'erreur entre les actions dans les vidéos générées et les commandes données.

Dans l’ensemble, l’ensemble de données DrivingDojo fournit une ressource précieuse pour la communauté de la conduite autonome, visant à améliorer les capacités de prédiction et de contrôle des modèles mondiaux dans des environnements de conduite complexes.