MM-AU 다중 모드 사고 영상 이해 데이터 세트

MM-AU는 다중 모드 사고 영상 이해에 초점을 맞춘 대규모 데이터 세트로, 안전 운전 인식 분야에 고품질 데이터 지원을 제공하는 것을 목표로 합니다. 이 연구는 시안 교통대학교, 장안대학교, 싱가포르 국립대학교, 클리블랜드 주립대학교, 난양 이공대학교의 연구진에 의해 2024년에 발표되었습니다. 관련 논문 결과는 "안전 운전 인식을 위한 납치적 자아-시각 사고 영상 이해" CVPR2024 Highlight에 채택되었습니다.

이 데이터 세트는 여러 개의 공개된 자기 관점 사고 데이터 세트(CCD, A3D, DoTA, DADA-2000 등)와 YouTube, Bilibili, Tencent 등의 비디오 플랫폼의 비디오 클립으로 구성되어 있습니다. MM-AU는 11,727개의 야생 자기 관점 사고 영상을 포함하고 있으며 총 2,195,613개의 프레임을 갖춘 가장 크고 세분화된 자기 관점 다중 모드 사고 데이터 세트입니다. 이러한 영상은 다양한 사고 시나리오를 다루며 연구자들에게 풍부한 데이터 리소스를 제공합니다.

이 데이터 세트에는 객체 감지, 사고 원인 설명, 텍스트 설명을 포함한 주석 정보가 풍부합니다. 객체 감지를 위해 7가지 범주의 도로 참여자(자동차, 신호등, 보행자, 트럭, 버스, 자전거 타는 사람, 오토바이)에 대해 223만 개 이상의 경계 상자에 주석이 달렸습니다. 또한, 이 데이터 세트에는 58개 사고 유형을 포괄하는 58,650쌍 이상의 비디오 사고 원인에 대한 주석이 포함되어 있습니다. 각 영상에는 사고 원인, 예방 제안, 사고 유형에 대한 설명을 포함한 시간별 텍스트 설명이 함께 제공됩니다. 이러한 주석 정보는 사고 원인을 분석하는 데 도움이 될 뿐만 아니라, 자율 주행 시스템에 대한 중요한 참고 자료를 제공합니다.