MM-AU ist ein umfangreicher Datensatz mit Schwerpunkt auf dem multimodalen Verständnis von Unfallvideos, der darauf abzielt, qualitativ hochwertige Datenunterstützung für den Bereich der sicheren Fahrwahrnehmung bereitzustellen. Es wurde 2024 von Forschern der Xi'an Jiaotong University, der Chang'an University, der National University of Singapore, der Cleveland State University und der Nanyang Technological University veröffentlicht. Die entsprechenden Ergebnisse der Studie sind „Abduktive Ego-Ansicht des Unfallvideoverständnisses für eine sichere Fahrwahrnehmung" und wurde von CVPR2024 Highlight angenommen.

Der Datensatz besteht aus mehreren öffentlichen Unfalldatensätzen aus der Ego-Perspektive (wie CCD, A3D, DoTA und DADA-2000) und Videoclips von Videoplattformen wie YouTube, Bilibili und Tencent. MM-AU ist der größte und detaillierteste multimodale Unfalldatensatz in Selbstperspektive und enthält 11.727 wilde Unfallvideos in Selbstperspektive mit insgesamt 2.195.613 Einzelbildern. Diese Videos decken eine Vielzahl von Unfallszenarien ab und bieten Forschern eine umfangreiche Datenquelle.

Der Datensatz enthält zahlreiche Anmerkungsinformationen, darunter Objekterkennung, Beschreibung der Unfallursache und Textbeschreibung. Zur Objekterkennung werden für sieben Kategorien von Verkehrsteilnehmern (Autos, Ampeln, Fußgänger, LKWs, Busse, Radfahrer und Motorräder) über 2,23 Millionen Begrenzungsrahmen annotiert. Darüber hinaus enthält der Datensatz auch Anmerkungen zu mehr als 58.650 Paaren von Video-Unfallursachen, die 58 Unfallkategorien abdecken. Zu jedem Video gibt es eine zeitlich abgestimmte Textbeschreibung mit Unfallursache, Präventionsvorschlägen und einer Beschreibung der Unfallkategorie. Diese Anmerkungsinformationen helfen nicht nur bei der Analyse der Unfallursache, sondern stellen auch wichtige Referenzen für das autonome Fahrsystem dar.