뼈 기반 자세 분해를 통한 해부학 인지 3차원 인간 자세 추정

본 연구에서는 영상 내 3차원 인간 자세 추정을 위한 새로운 해결책을 제안한다. 3차원 관절 위치를 직접 회귀하는 대신, 인간 뼈대 해부학적 구조에 착안하여 이 작업을 뼈의 방향 예측과 뼈의 길이 예측으로 분해한다. 이러한 두 가지 예측 결과로부터 3차원 관절 위치를 완전히 도출할 수 있다. 본 연구의 동기는 인간 뼈대의 뼈 길이가 시간에 따라 일정하게 유지된다는 사실에 기반한다. 이는 영상 내 모든 프레임에 걸쳐 전역 정보를 효과적으로 활용하여 정확한 뼈 길이 예측을 수행할 수 있는 기술 개발을 촉진한다. 또한 뼈의 방향 예측 네트워크를 위해, 시간 소모가 큰 메모리 단위(예: LSTM 등)를 사용하지 않고 계층적으로 다양한 뼈의 방향을 예측할 수 있는 완전 컨볼루션형 전파 구조를 제안한다. 더불어 뼈 길이 예측과 뼈 방향 예측 네트워크 간의 훈련을 연결하기 위해 새로운 종합적 이동 손실( joint shift loss)을 도입한다. 마지막으로, 2D 키포인트의 가시성 점수를 암묵적인 주의 메커니즘을 통해 모델에 추가적인 안내 정보로 제공함으로써, 많은 도전적인 자세에서 발생하는 깊이 모호성 문제를 크게 완화한다. 제안한 전체 모델은 Human3.6M 및 MPI-INF-3DHP 데이터셋에서 기존 최고 성능을 초과하며, 철저한 평가를 통해 본 모델의 효과성을 입증하였다.