HEMlets 포즈: 정확한 3D 인간 포즈 추정을 위한 부분 중심 히트맵 트리플릿 학습

단일 이미지로부터 3차원 인간 자세를 추정하는 것은 도전적인 과제이다. 본 연구는 검출된 2차원 관절을 3차원 공간으로 올릴 때 발생하는 불확실성을 줄이기 위해 중간 상태로 '부분 중심 히트맵 트리플릿(HEMlets)'을 도입한다. 이는 2차원 관측과 3차원 해석 사이의 격차를 좁히는 데 기여한다. HEMlets는 각 뼈대 부위의 끝부분 관절들 간의 상대적 깊이 정보를 표현하기 위해 세 개의 관절 히트맵을 활용한다. 본 연구에서 제안하는 방법은 먼저 입력 이미지로부터 HEMlets를 예측하는 컨볼루션 네트워크(ConvNet)를 학습한 후, 부피형 관절 히트맵 회귀를 수행한다. 우리는 부피형 히트맵으로부터 관절 위치를 추출하기 위해 적분 연산(integral operation)을 활용함으로써 엔드 투 엔드(end-to-end) 학습을 보장한다. 네트워크 설계의 단순성에도 불구하고, 정량적 비교 결과에서 최고 수준의 기존 방법(예: Human3.6M 데이터셋 기준 20% 향상)보다 뚜렷한 성능 향상을 입증하였다. 제안하는 방법은 뼈대 관절의 상대 깊이 정보만 약하게 레이블링된 '실제 환경(wild)' 이미지에 자연스럽게 학습이 가능하다는 장점이 있으며, 이는 실외 이미지에 대한 정성적 비교를 통해 모델의 일반화 능력이 더욱 향상됨을 입증한다.