3D 텍스처 기반 핸드 재구성 기술의 변혁: 트랜스포머 기반 접근법

단일 카메라 입력에서 3차원 손을 재구성할 수 있는 방법을 제안한다. 본 연구에서 제안하는 손 메시 복원 기법(HaMeR, Hand Mesh Recovery)은 완전히 트랜스포머 기반 아키텍처를 따르며, 기존 연구 대비 훨씬 높은 정확도와 강건성을 갖춘 손 분석이 가능하다. HaMeR의 성공의 핵심은 학습에 사용되는 데이터 규모와 손 재구성용 딥 네트워크의 용량을 동시에 확대한 데 있다. 학습 데이터 측면에서는 2D 또는 3D 손 라벨링을 포함하는 여러 데이터셋을 통합하였다. 딥 모델 측면에서는 대규모 비전 트랜스포머 아키텍처를 활용하였다. 최종 모델은 주요 3D 손 자세 벤치마크에서 기존의 기준 모델들을 일관되게 상회한다. 제안한 설계가 통제되지 않은 환경에서 얼마나 효과적인지 추가 평가하기 위해, 기존의 실외 데이터셋에 2D 손 관절 키포인트 라벨링을 추가로 작성하였다. 새로 수집한 이 라벨링 데이터셋(HInt)에서 기존의 기준 모델들에 비해 상당한 성능 향상을 입증하였다. 본 연구의 코드, 데이터 및 모델은 프로젝트 웹사이트(https://geopavlakos.github.io/hamer/)에서 공개한다.