외부 약한 감독을 이용한 야외 환경에서의 자기중심 3D 인간 자세 추정

최근, 단일 어안 렌즈 카메라를 사용한 자기 중심적 3D 인간 자세 추정이 많은 관심을 받고 있습니다. 그러나 기존 방법들은 야외 환경에서 촬영된 이미지로부터의 자세 추정에 어려움을 겪고 있으며, 이는 대규모 야외 환경 데이터셋의 부족으로 인해 합성 데이터만으로 훈련될 수 있기 때문입니다. 또한 이러한 방법들은 주변 장면에 의해 신체 부위가 가려지거나 상호 작용할 때 쉽게 실패합니다. 야외 환경 데이터의 부족 문제를 해결하기 위해, 우리는 '야외 환경에서의 자기 중심적 자세(Egocentric Poses in the Wild, EgoPW)'라는 이름의 대규모 야외 환경 자기 중심적 데이터셋을 수집하였습니다. 이 데이터셋은 머리에 장착된 어안 렌즈 카메라와 보조적인 외부 카메라로 캡처되며, 훈련 중 제3자 시점에서 인간 신체의 추가적인 관찰을 제공합니다.우리는 새로운 자기 중심적 자세 추정 방법을 제시하며, 이 방법은 약한 외부 감독 하에 새로운 데이터셋으로 훈련될 수 있습니다. 구체적으로, 먼저 외부 시점 감독을 통합하여 공간-시간 최적화 방법으로 EgoPW 데이터셋에 대한 의사 라벨(pseudo labels)을 생성합니다. 생성된 의사 라벨은 subsequently 자기 중심적 자세 추정 네트워크를 훈련하는 데 사용됩니다. 네트워크 훈련을 용이하게 하기 위해, 사전 훈련된 외부 시점 자세 추정 모델로 추출된 고품질 특징들로 자기 중심적 특징들을 감독하는 새로운 학습 전략을 제안합니다. 실험 결과, 우리의 방법은 단일 야외 환경 자기 중심적 이미지로부터 정확한 3D 자세를 예측하며, 양적 및 질적으로 기존 최신 연구보다 우수한 성능을 보였습니다.