2D 인간 포즈로부터 인간 메시 재구성을 위한 경량 그래프 트랜스포머 네트워크

기존의 딥러닝 기반 인간 메시 재구성 접근 방식은 더 높은 정확도를 달성하기 위해 보다 큰 네트워크를 구축하는 경향이 있다. 그러나 계산 복잡도와 모델 크기는 실용적인 인간 메시 재구성 모델(예: 가상 피팅 시스템)의 핵심 특성이므로 종종 간과된다. 본 논문에서는 2D 인간 포즈에서 인간 메시를 재구성할 수 있는 경량화된 포즈 기반 방법인 GTRS를 제안한다. 우리는 그래프 트랜스포머를 사용하여 구조적이고 암묵적인 관절 상관관계를 활용하는 포즈 분석 모듈과 추출된 포즈 특성을 메시 템플릿과 결합하여 최종 인간 메시를 재구성하는 메시 회귀 모듈을 제안한다. Human3.6M 및 3DPW 데이터셋에 대한 광범위한 평가를 통해 GTRS의 효율성과 일반화 능력을 입증한다. 특히, GTRS는 도전적인 실외 환경 3DPW 데이터셋에서 SOTA(SOTA) 포즈 기반 방법인 Pose2Mesh보다 더 높은 정확도를 달성하면서도 파라미터(Params)의 10.2%와 FLOPs의 2.5%만 사용한다. 코드는 공개될 예정이다.