DrivingDojo 데이터 세트는 2024년 중국 과학 아카데미 자동화 연구소의 패턴 인식 새 연구소, 메이투안 중국 과학 아카데미 인공 지능 학교, 홍콩 인공 지능 및 로봇 공학 연구소가 공동으로 생성했습니다. 중국과학원 센터 관련 논문 결과는 "DrivingDojo 데이터 세트: 대화형 및 지식이 풍부한 운전 세계 모델 발전”, 운전 세계에 대한 대화형 및 지식이 풍부한 모델의 개발을 발전시키는 것을 목표로 합니다. 이 데이터 세트에는 약 18,000개의 비디오 클립이 포함되어 있으며 특히 실제 시각적 상호 작용을 시뮬레이션하고 풍부한 운전 동작, 다중 에이전트 상호 작용 및 개방형 운전 지식을 다루고 있습니다.
DrivingDojo 데이터 세트는 완전한 작업, 다중 에이전트 상호 작용 및 풍부한 오픈 월드 운전 지식이 특징입니다. 가속, 긴급제동, 주차 및 출발 등 종방향 운행뿐만 아니라 유턴, 추월, 차선변경 등 횡방향 운행도 포함된다. 또한, 데이터 세트는 삽입, 컷오프, 정면 병합과 같은 다수의 다중 에이전트 상호 작용 궤적을 포함하는 비디오를 포함하도록 특별히 설계되었습니다. DrivingDojo에는 동물 건너기, 병 떨어뜨리기, 도로 잔해 등 실제 운전 시나리오에서 접할 수 있는 희귀한 사건에 대한 비디오도 포함되어 있습니다.
데이터 세트의 비디오 해상도는 1920×1080이고 프레임 속도는 5fps입니다. 비디오 클립은 베이징, 선전, 쉬저우 등 중국의 주요 도시에서 촬영되었으며 다양한 기상 조건과 일광 조건에서 녹화되었습니다. 모든 비디오는 온보드 HD-Map 기반 고정밀 포지셔닝 스택에서 파생된 동기화된 카메라 포즈와 쌍을 이룹니다. DrivingDojo-Open 하위 세트의 비디오는 각 비디오에서 발생하는 희귀한 이벤트에 대한 텍스트 설명과도 쌍을 이룹니다.
운전 장면 모델링의 진행 상황을 측정하기 위해 DrivingDojo 데이터 세트는 합리적인 미래 롤링 예측을 수행하는 세계 모델의 능력을 평가하기 위한 새로운 AIF(Action Instruction Follow) 벤치마크도 제안합니다. 이 벤치마크는 주어진 지침과 비교하여 생성된 비디오의 동작 오류를 계산하여 장기적인 모션 제어 가능성을 평가합니다.
전반적으로 DrivingDojo 데이터 세트는 복잡한 운전 환경에서 세계 모델의 예측 및 제어 기능을 향상시키는 것을 목표로 자율 주행 분야에 귀중한 리소스를 제공합니다.
