KTPFormer: 운동학 및 궤도 사전 지식을 활용한 3D 인간 자세 추정 트랜스포머

본 논문에서는 기존의 3D 인간 자세 추정을 위한 트랜스포머 기반 방법에서 Q, K, V 벡터의 도출이 단순한 선형 매핑에만 의존하는 약점을 극복하기 위해 새로운 운동학 및 궤적 사전 지식 강화 트랜스포머 (KTPFormer)를 제시합니다. 우리는 인간 신체의 알려진 해부학적 구조와 운동 궤적 정보를 활용하여 멀티헤드 자기 주의 메커니즘에서 전역 의존성과 특징을 효과적으로 학습할 수 있도록 두 가지 사전 주의 모듈, 즉 운동학 사전 주의 (KPA)와 궤적 사전 주의 (TPA) 모듈을 제안합니다. KPA는 운동학적 관계를 모델링하기 위해 운동학적 토폴로지를 구성하고, TPA는 프레임 간 관절 운동 궤적 정보를 학습하기 위해 궤적 토폴로지를 구축합니다. 이러한 사전 지식을 포함한 Q, K, V 벡터를 생성함으로써 두 모듈은 KTPFormer가 공간적 및 시간적 상관관계를 동시에 모델링할 수 있게 합니다. Human3.6M, MPI-INF-3DHP 및 HumanEva 세 개의 벤치마크에서 수행된 광범위한 실험 결과, KTPFormer는 최신 방법론에 비해 우수한 성능을 보였습니다. 더욱 중요한 점은 우리의 KPA와 TPA 모듈이 경량화된 플러그앤플레이 설계를 가지고 있어 다양한 트랜스포머 기반 네트워크(예: 확산 기반 네트워크)에 통합되어 매우 적은 계산 부하 증가만으로 성능을 향상시킬 수 있다는 것입니다. 코드는 다음 링크에서 확인 가능합니다: https://github.com/JihuaPeng/KTPFormer.