TexturePose: 텍스처 일관성을 이용한 인간 메시 추정 감독

이 연구는 모델 기반 인간 자세 추정의 문제를 다룹니다. 최근 접근 방식들은 이미지에서 직접 파라메트릭 인간 몸체 모델의 매개변수를 회귀하는 데 큰 진전을 이루었습니다. 3D 형태의 정답 이미지가 부족하기 때문에, 관련 접근 방식들은 2D 주석이나 복잡한 아키텍처 설계에 의존하고 있습니다. 본 연구에서는 이러한 접근 방식 외에도 자연 이미지에서 무료로 이용할 수 있는 더 많은 힌트를 활용할 수 있음을 제안합니다. 즉, 추가적인 주석을 얻거나 네트워크 아키텍처를 수정하지 않고도 가능한 것입니다.우리는 다른 프레임(또는 시점) 간에 사람의 외관 일관성을 활용하는 자연적인 감독 형태를 제안합니다. 이 힌트는 보통 중요하지 않다고 여겨지고 무시되지만, 모델 기반 자세 추정에는 매우 유용합니다. 우리가 사용하는 파라메트릭 모델은 각 프레임에 대한 텍스처 맵을 계산할 수 있게 해줍니다. 사람의 텍스처가 프레임 간에 크게 변하지 않는다는 가정 하에, 우리는 새로운 텍스처 일관성 손실 함수를 적용하여 모든 프레임에서 텍스처 맵의 각 점이 동일한 텍스처 값을 가지도록 강제합니다. 텍스처가 공통 텍스처 맵 공간으로 전송되기 때문에 카메라 움직임 계산이 필요하지 않으며, 심지어 프레임 간 평활성을 가정할 필요도 없습니다. 이는 단일 시점 비디오부터 다중 시점 이미지까지 다양한 환경에서 우리의 제안된 감독 방법을 적용 가능하게 합니다.우리는 우리 접근 방식을 같은 혹은 더 많은 주석을 요구하는 강력한 베이스라인들과 비교하여 성능을 평가하였고, 일관적으로 그들을 능가하였습니다. 동시에, 우리는 다양한 벤치마크에서 모델 기반 자세 추정 접근 방식들 중 최상의 결과를 달성하였습니다. 비디오, 결과 및 코드가 포함된 프로젝트 웹사이트는 https://seas.upenn.edu/~pavlakos/projects/texturepose 에서 확인할 수 있습니다.