17일 전

3D 인간 자세 추정을 위한 조절형 그래프 컨볼루션 네트워크

{Wei Tang, Zhiming Zou}
3D 인간 자세 추정을 위한 조절형 그래프 컨볼루션 네트워크
초록

최근 그래프 컨볼루션 네트워크(GCN)는 신체 부위 간의 관계를 모델링함으로써 3D 인간 자세 추정(HPE)에서 희망적인 성능을 달성하고 있다. 그러나 기존의 대부분의 GCN 기법은 두 가지 주요한 한계를 지닌다. 첫째, 그래프 컨볼루션 레이어 내에서 각 노드에 대해 동일한 특징 변환을 공유하기 때문에, 서로 다른 관절 간의 다양한 관계를 학습할 수 없다는 점이다. 둘째, 그래프 구조가 일반적으로 인간의 해부학적 뼈대(skeleton)에 따라 정의되며, 실제 인간의 동작은 관절 간 자연스러운 연결을 넘어서는 운동 패턴을 보이기 때문에, 이는 최적의 구조라고 할 수 없다. 이러한 한계를 해결하기 위해, 본 연구는 3D HPE를 위한 새로운 모듈레이션 GCN(Modulated GCN)을 제안한다. 본 모델은 두 가지 주요 구성 요소로 구성된다: 가중치 모듈레이션(weight modulation)과 유사도 모듈레이션(affinity modulation). 가중치 모듈레이션은 각 노드에 대해 서로 다른 조절 벡터를 학습함으로써, 각 노드의 특징 변환을 분리하면서도 모델 크기를 작게 유지할 수 있도록 한다. 유사도 모듈레이션은 GCN 내의 그래프 구조를 조정하여, 인간 뼈대를 넘어서는 추가적인 간선을 모델링할 수 있도록 한다. 우리는 여러 가지 유사도 모듈레이션 방법과 정규화(regularization)의 영향을 탐구하였다. 철저한 아블레이션 실험 결과, 두 가지 유형의 모듈레이션이 모두 성능을 향상시키며, 추가적인 계산 부담은 거의 없음을 확인하였다. 기존 최첨단 GCN 기법들과 비교했을 때, 제안하는 방법은 모델 크기를 유지하면서 추정 오차를 약 10% 이상 감소시키거나, 모델 크기를 대폭 축소(4.22M → 0.29M, 14.5배 감소)하면서도 유사한 성능을 달성할 수 있다. 두 가지 벤치마크에서의 실험 결과는 제안한 모듈레이션 GCN이 일부 최신 기법들을 능가함을 보여준다. 본 연구의 코드는 https://github.com/ZhimingZo/Modulated-GCN 에서 공개되어 있다.

3D 인간 자세 추정을 위한 조절형 그래프 컨볼루션 네트워크 | 최신 연구 논문 | HyperAI초신경