MM-AU 多模态事故视频理解数据集

MM-AU 是一个专注于多模态事故视频理解的大型数据集，旨在为安全驾驶感知领域提供高质量的数据支持，由西安交通大学、长安大学、新加坡国立大学、克里夫兰州立大学和南洋理工大学的研究人员于 2024 年发布，相关论文成果为「Abductive Ego-View Accident Video Understanding for Safe Driving Perception」，并被 CVPR2024 Highlight 接收。

该数据集由多个公开的自我视角事故数据集（如 CCD 、 A3D 、 DoTA 和 DADA-2000）以及来自 YouTube 、 Bilibili 和腾讯等视频平台的视频片段组成。 MM-AU 是目前最大且最细粒度的自我视角多模态事故数据集，包含 11,727 个野外自我视角事故视频，总计 2,195,613 帧。这些视频涵盖了多种事故场景，为研究人员提供了丰富的数据资源。

数据集的标注信息非常丰富，包括对象检测、事故原因描述和文本描述。在对象检测方面，标注了 7 类道路参与者（汽车、交通灯、行人、卡车、公交车、骑自行车者和摩托车）的超过 223 万个边界框。此外，数据集还标注了超过 58,650 对视频事故原因，涵盖 58 种事故类别。每个视频都配有时间对齐的文本描述，包括事故原因、预防建议和事故类别描述。这些标注信息不仅有助于事故原因的分析，还能为自动驾驶系统提供重要的参考。