MM-AU est un ensemble de données à grande échelle axé sur la compréhension des vidéos d'accidents multimodaux, qui vise à fournir un support de données de haute qualité pour le domaine de la perception de la conduite en toute sécurité. Il a été publié en 2024 par des chercheurs de l'Université Xi'an Jiaotong, de l'Université Chang'an, de l'Université nationale de Singapour, de l'Université d'État de Cleveland et de l'Université technologique de Nanyang. Les résultats de l'article connexe sont «Comprendre une vidéo d'accident avec une vision abductive de l'ego pour une conduite sûre" et a été accepté par CVPR2024 Highlight.

L'ensemble de données se compose de plusieurs ensembles de données d'accidents publics à perspective égocentrique (tels que CCD, A3D, DoTA et DADA-2000) et de clips vidéo provenant de plateformes vidéo telles que YouTube, Bilibili et Tencent. MM-AU est l'ensemble de données d'accidents multimodaux auto-perspectives le plus vaste et le plus précis, contenant 11 727 vidéos d'accidents auto-perspectives sauvages, totalisant 2 195 613 images. Ces vidéos couvrent une variété de scénarios d’accidents et fournissent aux chercheurs une riche ressource de données.

L'ensemble de données est riche en informations d'annotation, notamment la détection d'objets, la description des causes d'accident et la description textuelle. Pour la détection d'objets, plus de 2,23 millions de boîtes englobantes sont annotées pour sept catégories d'acteurs de la route (voitures, feux de circulation, piétons, camions, bus, cyclistes et motos). En outre, l'ensemble de données annote également plus de 58 650 paires de causes d'accidents vidéo, couvrant 58 catégories d'accidents. Chaque vidéo est accompagnée d'une description textuelle chronologique comprenant la cause de l'accident, des suggestions de prévention et une description de la catégorie d'accident. Ces informations d’annotation aident non seulement à analyser la cause de l’accident, mais fournissent également une référence importante pour le système de conduite autonome.