11일 전

LiftFormer: 주의 모델을 이용한 3D 인간 자세 추정

Adrian Llopart
LiftFormer: 주의 모델을 이용한 3D 인간 자세 추정
초록

최근 몇 년간 인간 관절의 3차원 위치 추정은 널리 연구되고 있는 주제가 되었다. 특히 인간 뼈대에 연결된 관절의 루트 기준 좌표를 예측하기 위해 2차원 데이터(키포인트)를 3차원으로 보간하는 새로운 방법론에 특별한 관심이 집중되어 왔다. 최신 연구 동향은 트랜스포머 인코더 블록이 과거의 접근 방식에 비해 시간 정보를 훨씬 효과적으로 통합함을 입증하였다. 따라서 본 연구에서는 동영상 내 정렬된 인간 자세 시퀀스에 주의 메커니즘(attention mechanism)을 적용하여 시간 정보를 효과적으로 활용함으로써, 트랜스포머 기반 모델을 사용해 더 정확한 3차원 예측을 수행하는 방법을 제안한다.제안한 방법은 Human3.6M 데이터셋에서 2D 키포인트 예측기(0.3mm 향상, MPJPE: 44.8, 0.7% 개선)와 진짜 입력(Ground truth) 데이터(2mm 향상, MPJPE: 31.9, 8.4% 개선) 모두에 대해 기존 최고 성능의 결과를 일관되게 초과 달성한다. 또한 HumanEva-I 데이터셋에서도 최신 기술 수준의 성능을 기록하며, P-MPJPE 기준 10.5점(22.2% 감소)을 달성하였다. 본 모델의 파라미터 수는 쉽게 조정 가능하며, 현재의 주요 기법들(16.95M 및 11.25M)보다 작지만(9.5M) 더 뛰어난 성능을 보인다. 따라서 제안한 3차원 리프팅 모델은 엔드 투 엔드 또는 SMPL 기반 접근 방식을 뛰어넘는 정확도를 제공하며, 다중 시점(Multi-view) 방법들과 비교해도 경쟁력 있는 성능을 보인다.

LiftFormer: 주의 모델을 이용한 3D 인간 자세 추정 | 최신 연구 논문 | HyperAI초신경