초록
우리는 단일 이미지 기반 3D 인간 메시 복원을 위한 새로운 정점 기반 접근법인 변형 가능 메시 트랜스포머(DeFormeR)를 제안한다. DeFormeR는 표준 트랜스포머 어텐션을 사용하는 기존 방법에서 계산 비용이 높았던 고해상도 이미지 특징 맵과 밀도 높은 메시 모델을 효과적으로 활용할 수 있도록, 효율적인 몸체 메시 기반 어텐션 모듈을 갖춘 트랜스포머 디코더 내에서 메시 정렬 피드백 루프를 통해 입력 이미지에 대해 메시 모델을 반복적으로 적합시킨다. 이 모듈들은 1) 몸체 희소 자기 어텐션과 2) 변형 가능 메시 교차 어텐션으로 구성된다. 실험 결과, DeFormeR는 Human3.6M 및 3DPW 벤치마크에서 최신 기술 수준의 성능을 달성하였다. 또한 다중 스케일 특징 맵을 효과적으로 활용하기 위한 DeFormeR 모델 설계의 타당성을 입증하기 위해 아블레이션 스터디를 수행하였다. 코드는 https://github.com/yusukey03012/DeFormer 에서 공개되어 있다.