UnrealEgo: 강인한 제1인칭 3D 인간 운동 캡처를 위한 새로운 데이터셋

우리는 UnrealEgo, 즉 제1인칭 3D 인간 자세 추정을 위한 새로운 대규모 자연적 데이터셋을 소개합니다. UnrealEgo는 제약이 없는 환경에서 사용할 수 있는 두 개의 피시아이 카메라가 장착된 안경의 고급 개념을 기반으로 합니다. 우리는 이들의 가상 프로토타입을 설계하여 3D 인간 모델에 부착하여 입체 시점 캡처를 수행합니다. 그 다음으로, 우리는 대규모의 인간 운동 코퍼스를 생성합니다. 결과적으로, UnrealEgo는 기존의 제1인칭 데이터셋 중 가장 다양한 운동을 제공하는 야외 입체 이미지를 포함한 첫 번째 데이터셋입니다. 또한, 우리는 입체 입력에 대한 2D 키포인트 추정 모듈을 설계하여 3D 인간 자세 추정을 개선하는 간단하면서도 효과적인 아이디어를 바탕으로 새로운 벤치마크 방법을 제안합니다. 광범위한 실험 결과, 우리의 접근 방식은 이전 최신 연구 방법들을 질적이고 양적으로 능가함을 보여줍니다. UnrealEgo와 우리의 소스 코드는 프로젝트 웹 페이지에서 이용 가능합니다.