End-to-End Human Pose and Mesh Reconstruction with Transformers 트랜스포머를 이용한 단일 과정 인간 포즈 및 메시 재구성

우리는 단일 이미지에서 3D 인간 자세와 메시 정점을 재구성하기 위한 새로운 방법, MEsh TRansfOrmer (METRO)를 제시합니다. 본 방법은 변환기 인코더를 사용하여 정점-정점과 정점-관절 상호작용을 공동으로 모델링하고, 3D 관절 좌표와 메시 정점을 동시에 출력합니다. 기존의 자세와 형태 매개변수를 회귀하는 기술들과 비교할 때, METRO는 SMPL과 같은 매개변수화된 메시 모델에 의존하지 않으므로 손과 같은 다른 객체로 쉽게 확장될 수 있습니다. 우리는 더욱이 메시 위상을 완화시키고 변환기 자기 주의 메커니즘을 통해 임의의 두 정점 사이에서 자유롭게 주의를 집중할 수 있도록 허용함으로써, 메시 정점과 관절 간의 비국소적 관계를 학습할 수 있게 합니다. 제안된 마스킹된 정점 모델링을 통해 우리의 방법은 부분 가림 등의 어려운 상황을 처리하는 데 있어 더욱 견고하고 효과적입니다. METRO는 공개 Human3.6M 및 3DPW 데이터셋에서 3D 인간 메시 재구성에 대한 새로운 최신 결과를 생성합니다. 또한, 우리는 METRO가 FreiHAND 데이터셋에서 기존 최신 방법들을 능가하는 것을 보여주어 야외 환경에서 3D 손 재구성의 일반화 가능성을 입증하였습니다. 코드와 사전 학습된 모델들은 https://github.com/microsoft/MeshTransformer에서 제공됩니다.