인간은 교통 생태계의 중요한 구성 요소이며, 그들의 행동을 이해하는 것은 안전한 운행 시스템 개발을 촉진하는 데 있어 필수적입니다. 최근의 연구는 인간의 행동, 예를 들어 움직임, 궤적, 의도 등 다양한 측면을 탐구하였지만, 자율 주행에서 인간 행동 이해를 평가하기 위한 포괄적인 벤치마크는 아직 제공되지 않고 있습니다. 본 연구에서는 MMHU라는 대규모 벤치마크를 제안합니다. 이 벤치마크는 인간의 움직임과 궤적, 인간 움직임에 대한 텍스트 설명, 인간 의도 및 운행 안전성과 관련된 중요 행동 라벨 등 풍부한 주석을 특징으로 합니다. 우리의 데이터셋은 Waymo와 같은 기존의 운행 데이터셋, YouTube에서 수집한 자연 환경 동영상, 자체 수집 데이터 등 다양한 출처에서 얻은 57,000개의 인간 움직임 클립과 173만 프레임을 포함하고 있습니다. humans-in-the-loop 주석 파이프라인(주석 생성 과정에 사람이 참여하는 방식)이 개발되어 풍부한 행동 설명을 생성하였습니다. 우리는 철저한 데이터셋 분석을 제공하며, 움직임 예측부터 움직임 생성 및 인간 행동 질문 응답까지 다양한 작업들을 벤치마킹하여 폭넓은 평가 도구를 제공합니다. 프로젝트 페이지: https://MMHU-Benchmark.github.io.