2달 전

VNect: 단일 RGB 카메라를 사용한 실시간 3D 인간 자세 추정

Dushyant Mehta; Srinath Sridhar; Oleksandr Sotnychenko; Helge Rhodin; Mohammad Shafiei; Hans-Peter Seidel; Weipeng Xu; Dan Casas; Christian Theobalt
VNect: 단일 RGB 카메라를 사용한 실시간 3D 인간 자세 추정
초록

우리는 단일 RGB 카메라를 사용하여 인간의 전체적인 전역 3D 골격 자세를 안정적이고 시간적으로 일관된 방식으로 실시간으로 캡처하는 첫 번째 방법을 제시합니다. 본 방법은 새로운 합성곱 신경망(CNN) 기반 자세 회귀기와 운동학적 골격 피팅을 결합합니다. 우리의 독창적인 완전 합성곱 자세 공식은 2D 및 3D 관절 위치를 실시간으로 동시에 회귀하며, 입력 프레임이 좁게 잘려야 하는 것이 필요하지 않습니다. 실시간 운동학적 골격 피팅 방법은 CNN 출력을 사용하여 일관된 운동학적 골격을 기반으로 시간적으로 안정적인 3D 전역 자세 재구성을 생성합니다. 이로 인해 우리의 접근 방식은 3D 캐릭터 제어와 같은 실시간 응용 프로그램에서 사용 가능한 첫 번째 단일 시점 RGB 방법이 됩니다. 지금까지 이러한 응용 프로그램에 대한 유일한 단일 시점 방법들은 특화된 RGB-D 카메라를 사용했습니다. 우리의 방법의 정확도는 최고의 오프라인 3D 단일 시점 RGB 자세 추정 방법과 양적으로 동등합니다. 우리의 결과는 질적으로 단일 시점 RGB-D 접근 방식(예: 키넥트)과 비교할 수 있으며, 때로는 더 우수하기도 합니다. 그러나 우리는 우리의 접근 방식이 RGB-D 솔루션보다 더 널리 적용될 수 있음을 보여주는데, 즉 야외 장면, 커뮤니티 비디오, 저품질 상업용 RGB 카메라에서도 작동함을 입증하였습니다.