*이 데이터 세트는 온라인 사용을 지원합니다.여기를 클릭하여 이동하세요.

FoMER 벤치는 모하메드 빈 자이드 인공지능 대학, 린셰핑 대학, 호주 국립 대학이 2025년에 발표한 FoMER(Foundational Model Embodied Reasoning) 벤치마크입니다.단계별 체현 추론에서 기초 모델은 얼마나 좋은가?”은 복잡하게 구체화된 의사결정 시나리오에서 LMM의 추론 능력을 평가하는 것을 목표로 합니다.

이 데이터셋은 1,100개 이상의 예시를 포함하고 있으며, 10개의 과제와 8개의 체화 추론 과제에 대한 상세한 단계별 추론을 다룹니다. 세 가지 로봇 유형과 여러 로봇 모드를 포함하여 다음 단계 행동 예측, 행동 어포던스, 물리적 상식, 시간 추론, 도구 사용 및 조작, 위험 평가, 로봇 내비게이션 등 다양한 과제에 대한 LLM 역량을 평가할 수 있습니다. 데이터셋에는 객관식 문제(MCQ), 참/거짓 문제(TF), 그리고 주관식 문제가 포함되어 있습니다. 각 예시에는 입력 관찰(비디오 또는 이미지 프레임 + 텍스트 프롬프트), 여러 후보 행동, 그리고 해당 단계별 추론 추적이 함께 제공됩니다.