야외 환경에서의 전신 인간 자세 추정

이 논문은 얼굴, 손, 신체, 발까지 포함한 전신 인체의 밀집된 랜드마크를 정확히 위치시키는 2차원 인체 전신 자세 추정(task)을 탐구한다. 기존의 데이터셋은 전신 레이블을 제공하지 않기 때문에, 이전의 방법들은 얼굴, 손, 신체 등에 대해 각각 독립적으로 학습된 다양한 딥 모델을 조합해야 했으며, 이로 인해 데이터셋 편향과 큰 모델 복잡성 문제에 직면해왔다. 이러한 공백을 메우기 위해, 우리는 COCO 데이터셋에 전신 레이블을 추가한 COCO-WholeBody를 제안한다. 우리 지식상으로는, 얼굴에 68개, 손에 42개, 신체와 발에 23개를 포함하여 총 133개의 밀집 랜드마크를 수작업으로 레이블링한 최초의 벤치마크이다. 본 연구에서는 인체 전신의 계층적 구조를 고려하여 동일한 사람의 다양한 신체 부위 간 체적 변화를 효과적으로 처리할 수 있는 단일 네트워크 모델인 ZoomNet을 제안한다. ZoomNet은 제안된 COCO-WholeBody 데이터셋에서 기존 방법들을 크게 능가하는 성능을 보여준다. 광범위한 실험 결과는 COCO-WholeBody가 전신 자세 추정을 위한 딥 모델을 처음부터 학습하는 데 사용될 뿐만 아니라, 얼굴 랜드마크 탐지나 손 키포인트 추정과 같은 다양한 작업에 강력한 사전 학습 데이터셋으로 활용될 수 있음을 입증한다. 본 데이터셋은 공개적으로 https://github.com/jin-s13/COCO-WholeBody 에서 제공된다.