휴먼센스 벤치마크(HumanSense Benchmark)는 시안 교통대학교가 앤트 그룹(Ant Group)과 공동으로 2025년에 발표한 인간 지각 평가 벤치마크 데이터셋입니다. 관련 연구 논문의 제목은 "HumanSense: 추론 MLLM을 통한 다중 모드 인식에서 공감적 상황 인식 반응으로목표는 시각, 오디오, 텍스트와 같은 다중 모드 정보를 융합하여 모델의 실제 상호작용 능력을 종합적으로 측정하는 것입니다. 이 데이터세트는 3,291개의 비디오 기반 질문과 591개의 오디오 기반 질문을 포함하고 있으며, 난이도가 점차 높아지는 15개 과제를 다룹니다. 과제 구조는 다음을 포함하는 4단계 피라미드 구조입니다.

• L1–L2 지각 계층: 시각, 청각 및 교차 모달 지각을 위한 기본적이고 복잡한 지각 능력
• L3 이해 계층: 상호 작용 상황에 기반한 암묵적 관계, 감정 및 상태를 이해하는 능력
• L4 대응 계층: 대화형 시나리오에서의 전략적이고 상황에 맞는 대응 역량. 이 데이터셋은 실제 비디오, 오디오, 그리고 다중 모드 대화에서 질문을 구성합니다. 다양한 오픈소스 데이터셋과 실제 현장 녹화 자료를 통해 생성되었으며, 외모 인식, 감정 인식, 관계 이해, 심리적 대화 등 다양한 인간 중심 상호작용 과제를 포괄합니다. 실제 인간 의사소통 시나리오에 더욱 가까운 현존하는 다중 모드 평가 벤치마크 중 하나입니다.