xR-EgoPose: HMD 카메라를 이용한 제1인칭 3D 인간 자세 추정

우리는 머리에 장착된 가상현실 장치의 가장자리에 설치된 하향식 어안 렌즈 카메라로 촬영된 단일 시점 이미지에서 제1인칭 3D 신체 자세 추정을 위한 새로운 솔루션을 제시합니다. 이 특이한 시점은 사용자의 얼굴에서 약 2cm 떨어져 있어, 심각한 자기 가림 현상과 강력한 원근법 왜곡으로 인해 하체와 상체 간의 해상도가 극적으로 차이나는 고유한 시각적 특성을 가진 이미지를 생성합니다. 우리의 기여는 두 가지입니다. 첫째, 우리는 2D 관절 위치의 변화하는 불확실성을 고려하도록 설계된 새로운 듀얼 브랜치 디코더를 갖춘 새로운 인코더-디코더 아키텍처를 제안합니다. 합성 데이터셋과 실제 세계 데이터셋 모두에서 수행한 정량적 평가는 우리의 전략이 최신 제1인칭 자세 추정 접근 방식보다 정확도가 크게 향상됨을 보여줍니다. 둘째, 다양한 피부색, 체형, 의복, 배경 및 조명 조건에서 다양한 행동을 하는 사람들의 고품질 렌더링 383K 프레임을 제공하는 대규모 포토리얼리스틱 합성 데이터셋인 xR-EgoPose를 소개합니다. 실험 결과, 새로운 합성 훈련 코퍼스의 높은 다양성이 실제 세계 영상에 대한 좋은 일반화 능력을 보여주며, 실제 세계 데이터셋에서 최고 수준의 성능을 달성하였습니다. 또한 Human3.6M 벤치마크에서의 평가는 우리 방법론이 더 전통적인 제3인칭 시점의 3D 인간 자세 추정 문제에서 최고 성능을 내는 접근 방식들과 비슷한 성능을 발휘함을 입증하였습니다.