MM-AUは、マルチモーダル事故ビデオ理解に焦点を当てた大規模データセットであり、安全運転認識の分野に高品質のデータサポートを提供することを目指しています。西安交通大学、長安大学、シンガポール国立大学、クリーブランド州立大学、南洋理工大学の研究者によって2024年にリリースされました。関連する論文の結果は次のとおりです。安全運転認識のためのアブダクション自我視点事故ビデオ理解」と題し、CVPR2024 Highlightに採択されました。

このデータセットは、複数の公開されている自我視点の事故データセット (CCD、A3D、DoTA、DADA-2000 など) と、YouTube、Bilibili、Tencent などのビデオ プラットフォームからのビデオ クリップで構成されています。 MM-AU は、最大かつ最もきめ細かい自己視点マルチモーダル事故データセットであり、11,727 件の野生の自己視点事故ビデオ (合計 2,195,613 フレーム) が含まれています。これらのビデオはさまざまな事故シナリオをカバーしており、研究者に豊富なデータ リソースを提供します。

データセットには、オブジェクトの検出、事故原因の説明、テキストの説明など、注釈情報が豊富に含まれています。物体検出では、道路参加者の 7 つのカテゴリ (自動車、信号機、歩行者、トラック、バス、自転車、オートバイ) に対して 223 万を超える境界ボックスに注釈が付けられます。さらに、データセットには、58 の事故カテゴリをカバーする 58,650 組を超えるビデオ事故原因の注釈も付けられています。各ビデオには、事故の原因、予防策、事故のカテゴリーの説明など、時間順に並べられたテキストの説明が付いています。これらの注釈情報は、事故の原因の分析に役立つだけでなく、自動運転システムにとっても重要な参考資料となります。