다중 인물 3D 자세 추정을 위한 압축된 부피 히트맵

본 논문에서는 단일 RGB 이미지에서 하향식(bottom-up) 다인용 3차원 인간 자세 추정을 위한 새로운 접근 방식을 제안한다. 우리는 관절 위치를 모델링하기 위해 고해상도 부피형 히트맵(3D volumetric heatmaps)을 사용하며, 이 표현 방식의 크기를 극적으로 감소시키기 위해 간단하면서도 효과적인 압축 방법을 제안한다. 제안된 방법의 핵심은 지상 진실(ground-truth) 히트맵을 밀도 높은 중간 표현으로 압축하는 전 연산형(fully-convolutional) 네트워크인 부피형 히트맵 오토인코더(Volumetric Heatmap Autoencoder)이다. 이후 두 번째 모델인 코드 예측기(Code Predictor)를 학습시켜 이 코드들을 예측하게 하며, 테스트 시에 이 코드들을 복원하여 원래의 표현을 재구성할 수 있다. 실험적 평가 결과, 본 방법은 다인용 및 단인용 3차원 인간 자세 추정 데이터셋에서 최신 기술과 비교해 우수한 성능을 보였으며, 본 연구에서 제안한 새로운 압축 전략 덕분에 장면 내 인원 수에 관계없이 항상 8 fps의 일정한 런타임으로 전체 HD 이미지를 처리할 수 있다. 코드와 모델은 https://github.com/fabbrimatteo/LoCO 에서 제공된다.