GLAMR: 전역 감지 인식 인간 메시 복원 기술 동적 카메라 사용

우리는 동적 카메라로 촬영된 단일 시점 영상에서 3D 전역 인간 메시를 복원하기 위한 접근법을 제시합니다. 이 접근법은 심각하고 장기적인 가림 현상에 견고하며, 인간이 카메라의 시야 범위 밖으로 나가더라도 추적할 수 있습니다. 이를 달성하기 위해 먼저 심층 생성 모션 인필러(deep generative motion infiller)를 제안합니다. 이 모델은 가려진 인간의 몸동작을 가시적인 동작을 기반으로 자동 회귀적으로 채워넣습니다. 또한, 이전 연구와는 달리 우리의 접근법은 동적 카메라 조건에서도 일관된 전역 좌표계에서 인간 메시를 재구성합니다. 인간 동작과 카메라 포즈의 동시 재구성은 제약 조건이 부족하기 때문에, 우리는 로컬 신체 움직임을 기반으로 전역 인간 궤도를 생성하는 전역 궤도 예측기(global trajectory predictor)를 제안합니다. 예측된 궤도를 앵커로 사용하여, 우리는 비디오 증거(예: 2D 키포인트)와 일치하도록 예측된 궤도를 세부 조정하고 카메라 포즈를 최적화하는 전역 최적화 프레임워크를 제시합니다. 동적 카메라 환경에서 어려운 실내 및 야외 데이터셋에 대한 실험 결과, 제안된 접근법이 동작 인필링과 전역 메시 복원 면에서 이전 방법론보다 크게 우수함을 보여줍니다.