Ego3DPose: 이중 시점의 주관적 시각에서 3D 힌트 포착

우리는 Ego3DPose를 소개합니다. 이는 매우 정확한 이안 시점 중심 3D 자세 재구성 시스템입니다. 이안 시점 중심의 이안 설정은 다양한 응용 분야에서 실용적이고 유용하지만, 여전히 크게 연구되지 않은 영역입니다. 이 설정은 시점 왜곡, 심각한 자기 가림, 그리고 이안 2D 이미지에서 관절의 제한된 시야로 인해 낮은 자세 추정 정확도를 겪어왔습니다. 여기서 우리는 이안 이안 입력에 포함된 두 가지 중요한 3D 힌트, 즉 스테레오 대응과 원근감이 무시되었다는 점을 주목합니다. 현재 방법들은 2D 이미지 특징에 크게 의존하여, 암묵적으로 3D 정보를 학습하지만, 이는 일반적으로 관찰되는 운동에 대한 편향을 초래하고 전반적인 정확도를 낮춥니다. 우리는 이러한 방법들이 도전적인 가림 상황뿐만 아니라 보이는 관절 위치 추정에서도 실패한다는 것을 발견했습니다.이러한 도전 과제들을 해결하기 위해, 우리는 두 가지 혁신적인 접근 방식을 제안합니다. 첫째, 각 지체의 이안 히트맵을 사용하여 독립적으로 자세를 추정하는 경로를 갖춘 두 경로 네트워크 구조를 설계하였습니다. 전체 신체 정보가 제공되지 않는 경우에도, 이를 통해 학습된 전체 신체 분포에 대한 편향을 완화할 수 있습니다. 둘째, 카메라와 가까울 때 손의 크기가 현저히 커지는 등 강력한 원근 변동성을 보이는 신체 지체의 이안 시점을 활용하였습니다. 우리는 삼각법을 사용하여 새로운 원근 감지 표현을 제안하였으며, 이를 통해 네트워크가 지체의 3D 방향성을 추정할 수 있게 되었습니다.마지막으로, 우리는 양쪽 기술을 결합하는 엔드투엔드 자세 재구성 네트워크를 개발하였습니다. 우리의 포괄적인 평가는 UnrealEgo 데이터셋에서 Ego3DPose가 최신 모델들보다 자세 추정 오차(MPJPE)가 23.1% 감소함을 입증하였습니다. 우리의 질적 결과는 다양한 상황과 도전 과제에서 우리 접근 방식의 우수성을 강조하고 있습니다.