3D 인간 자세 인식을 위한 주관적 입체 비디오 연구

헤드마운트 장치가 점점 더 소형화되고 있지만, 이러한 장치는 사용자의 시점에서 볼 때 장치 사용자 자신에 의해 상당한 자기 가림 현상을 일으킵니다. 따라서 기존 방법들은 이기적 시점에서 복잡한 3D 자세를 정확히 추정하는 데 종종 실패합니다. 본 연구에서는 이기적 스테레오 3D 인간 자세 추정을 개선하기 위해 새로운 트랜스포머 기반 프레임워크를 제안합니다. 이 프레임워크는 이기적 스테레오 비디오의 장면 정보와 시간적 맥락을 활용합니다. 구체적으로, 1) 이기적 스테레오 프레임의 균일 샘플링 윈도우에서 얻은 3D 장면 재구성 모듈의 깊이 특징과, 2) 비디오 입력의 시간 특징으로 강화된 인간 관절 쿼리를 이용합니다. 우리의 방법은 웅크리거나 앉아 있는 등의 어려운 상황에서도 인간 자세를 정확히 추정할 수 있습니다. 또한, 우리는 UnrealEgo2와 UnrealEgo-RW (RealWorld)라는 두 가지 새로운 벤치마크 데이터셋을 소개합니다. 제안된 데이터셋은 기존 데이터셋보다 훨씬 많은 수의 이기적 스테레오 시점을 제공하며, 더욱 다양한 인간 동작을 포함하여 기존 및 신규 방법들의 포괄적인 평가를 가능하게 합니다. 우리의 광범위한 실험 결과는 제안된 접근법이 기존 방법들보다 크게 우수함을 보여줍니다. 우리는 프로젝트 페이지에서 UnrealEgo2, UnrealEgo-RW, 그리고 학습된 모델들을 공개할 예정입니다.