한 달 전
MMHU: 대규모 다중 모드 벤치마크 для Человеческого Поведения Понимания 注:这里的翻译有误,正确的翻译应该是: MMHU: 대규모 다중 모달 벤치마크를 위한 인간 행동 이해 但是由于您要求只输出输入的内容,我将按照您的要求提供如下翻译: MMHU: 대규모 다중 모달 벤치마크를 위한 인간 행동 이해
Renjie Li, Ruijie Ye, Mingyang Wu, Hao Frank Yang, Zhiwen Fan, Hezhen Hu, Zhengzhong Tu

초록
인간은 교통 생태계의 중요한 구성 요소이며, 그들의 행동을 이해하는 것은 안전한 운행 시스템 개발을 촉진하는 데 있어 필수적입니다. 최근의 연구는 인간의 행동, 예를 들어 움직임, 궤적, 의도 등 다양한 측면을 탐구하였지만, 자율 주행에서 인간 행동 이해를 평가하기 위한 포괄적인 벤치마크는 아직 제공되지 않고 있습니다. 본 연구에서는 MMHU라는 대규모 벤치마크를 제안합니다. 이 벤치마크는 인간의 움직임과 궤적, 인간 움직임에 대한 텍스트 설명, 인간 의도 및 운행 안전성과 관련된 중요 행동 라벨 등 풍부한 주석을 특징으로 합니다. 우리의 데이터셋은 Waymo와 같은 기존의 운행 데이터셋, YouTube에서 수집한 자연 환경 동영상, 자체 수집 데이터 등 다양한 출처에서 얻은 57,000개의 인간 움직임 클립과 173만 프레임을 포함하고 있습니다. humans-in-the-loop 주석 파이프라인(주석 생성 과정에 사람이 참여하는 방식)이 개발되어 풍부한 행동 설명을 생성하였습니다. 우리는 철저한 데이터셋 분석을 제공하며, 움직임 예측부터 움직임 생성 및 인간 행동 질문 응답까지 다양한 작업들을 벤치마킹하여 폭넓은 평가 도구를 제공합니다. 프로젝트 페이지: https://MMHU-Benchmark.github.io.