MotionAGFormer: Transformer-GCNFormer 네트워크를 활용한 3D 인간 자세 추정 향상

최근 트랜스포머 기반 접근법들은 3차원 인간 자세 추정에서 뛰어난 성능을 보여주었습니다. 그러나 이러한 방법들은 전체적인 관점에서 전역적으로 모든 관절 간의 관계를 인코딩하기 때문에, 국소적 의존성을 정확하게 포착하지 못하는 문제점이 있습니다. 본 논문에서는 채널 수를 두 개의 병렬 트랜스포머와 GCNFormer 스트림으로 나누는 새로운 Attention-GCNFormer (AGFormer) 블록을 제안합니다. 제안된 GCNFormer 모듈은 인접한 관절 간의 국소적 관계를 활용하여, 트랜스포머 출력과 보완적인 새로운 표현을 생성합니다. 이 두 가지 표현을 적응적으로 융합함으로써 AGFormer는 기저 3차원 구조를 더 잘 학습할 수 있는 능력을 보여줍니다. 여러 개의 AGFormer 블록을 쌓아서 속도-정확성 균형에 따라 선택할 수 있는 네 가지 다른 변형의 MotionAGFormer를 제안합니다. 우리는 Human3.6M 및 MPI-INF-3DHP라는 두 개의 유명한 벤치마크 데이터셋에서 모델을 평가했습니다. MotionAGFormer-B는 각각 P1 오류 38.4mm와 16.2mm로 최신 연구 결과를 달성하였습니다. 특히, Human3.6M 데이터셋에서 이전 선두 모델보다 매개변수 수가 4분의 1이며, 계산 효율성이 세 배나 높습니다. 코드와 모델은 https://github.com/TaatiTeam/MotionAGFormer 에서 제공됩니다.