Ray3D: 단일 카메라를 이용한 광선 기반 3D 인간 자세 추정 및 절대 3D 위치 결정

본 논문에서는 보정된 카메라를 사용한 새로운 단일 시점 빔 기반 3차원(Ray3D) 절대 인체 자세 추정 방법을 제안합니다. 단일 시점 2차원 자세 입력으로부터 정확하고 일반화 가능한 절대 3차원 인체 자세 추정은 불완전한 문제입니다. 이 문제를 해결하기 위해, 우리는 픽셀 공간에서 3차원 정규화된 빔으로 입력을 변환합니다. 이러한 변환은 우리의 접근 방식이 카메라 내부 매개변수의 변화에 강건하게 대응할 수 있도록 합니다. 야외 환경에서 발생하는 카메라 외부 매개변수의 변화를 처리하기 위해, Ray3D는 카메라 외부 매개변수를 명시적으로 입력으로 받아, 3차원 자세 빔과 카메라 외부 매개변수 간의 분포를 공동으로 모델링합니다. 이 새로운 네트워크 설계가 Ray3D 접근 방식의 뛰어난 일반화 능력을 결정짓는 핵심 요소입니다.카메라 내부 및 외부 매개변수가 절대 3차원 키포인트 위치 추정의 정확성에 어떤 영향을 미치는지 종합적으로 이해하기 위해, 우리는 세 개의 단일 인물 3차원 벤치마크와 하나의 합성 벤치마크에서 체계적인 실험을 수행했습니다. 이러한 실험들은 우리의 방법이 기존 최신 모델들보다 유의미하게 우수함을 입증하였습니다. 본 연구의 코드와 합성 데이터셋은 https://github.com/YxZhxn/Ray3D 에서 제공됩니다.