초록
단일 이미지에서 3D 인간 자세 및 메시 재구성에 대한 그래프 컨볼루션 강화형 트랜스포머인 Mesh Graphormer을 제안한다. 최근 트랜스포머와 그래프 컨볼루션 신경망(GCNN) 모두 인간 메시 재구성 분야에서 놀라운 성과를 보여왔다. 트랜스포머 기반 접근법은 3D 메시 정점과 신체 관절 간의 비국소적 상호작용을 효과적으로 모델링할 수 있는 반면, GCNN은 미리 정의된 메시 구조(topology) 기반으로 근접 정점 간의 상호작용을 잘 활용할 수 있다. 본 논문에서는 트랜스포머 내에서 그래프 컨볼루션과 자기주의(self-attention)를 어떻게 결합하여 국소적 및 전역적 상호작용을 동시에 모델링할 수 있는지에 대해 탐구한다. 실험 결과, 제안한 Mesh Graphormer이 Human3.6M, 3DPW, FreiHAND 등 여러 벤치마크에서 기존 최고 성능 기법들을 크게 능가함을 확인하였다. 코드 및 사전 훈련된 모델은 https://github.com/microsoft/MeshGraphormer 에서 제공된다.