MoCapAct는 Microsoft Research가 2024년에 발표한 시뮬레이션 휴머노이드 로봇 운동 제어용 데이터셋으로, 휴머노이드 로봇 운동 제어 연구를 위해 사전 훈련된 전문가 정책과 해당 시연 데이터를 제공하여 모션 캡처 데이터에서 하위 수준 제어 정책을 훈련하는 계산 비용을 줄이는 것을 목표로 합니다.

이 데이터셋은 dm_control 물리 시뮬레이션 환경에서 3시간 이상의 모션 캡처 데이터를 추적할 수 있는 사전 훈련된 전문가 에이전트와, 이러한 전문가 에이전트가 생성한 재생 데이터를 포함합니다. 재생 데이터에는 고유 감각 관측(proprioceptive observations)과 행동(actions)이 포함되며, 서기, 걷기, 달리기 등의 휴머노이드 운동 기술을涵盖하여 모방 학습, 강화 학습 및 고수준 운동 행동 학습 등의 작업에 사용할 수 있습니다.

데이터셋 구성

• all: 전체 전문가 재생 데이터로, large와 small 두 가지 규모로 나뉩니다. large 데이터는 각 세그먼트에 200회 재생이 포함되고, small 데이터는 각 세그먼트에 20회 재생이 포함됩니다. 데이터는 여러 .tar.gz 파일로 제공되며, 압축 해제 후 HDF5 데이터 파일이 포함됩니다.

• sample: 빠른 테스트 및 데이터 읽기를 위한 예제 데이터로, large.tar.gz와 small.tar.gz를 포함하며 각각 200회 및 20회 재생에 해당합니다.

• videos: 모션 캡처 비디오 데이터로, full_clip_videos.tar.gz와 snippet_videos.tar.gz를 포함하며 각각 전체 모션 캡처 클립과 전문가 에이전트 훈련에 사용되는 클립 비디오를 제공합니다.