초록
본 연구에서는 인간 신체의 표면 기반 표현과 RGB 이미지 간의 밀집 대응을 설정하는 작업, 이를 '밀집 인간 자세 추정'이라고 부르는 과제를 수행합니다. 먼저 COCO 데이터셋에 등장하는 5만 명의 사람에 대한 밀집 대응을 효율적인 주석 파이프라인을 도입하여 수집하였습니다. 그런 다음 이 데이터셋을 사용하여 배경, 가림 현상 및 크기 변동이 있는 실제 환경에서 밀집 대응을 제공할 수 있는 CNN 기반 시스템을 훈련시켰습니다. 우리는 '인페인팅' 네트워크를 훈련시켜 결측된 지표값을 채울 수 있도록 하여 훈련 세트의 효과성을 개선했습니다. 이로 인해 과거에 달성할 수 있었던 최고 결과보다 명확한 개선을 보였습니다. 완전 합성곱 네트워크와 영역 기반 모델을 실험하였으며, 후자가 우수함을 확인하였습니다. 이를 통해 연쇄적으로 정확도를 더욱 개선하여 실시간으로 매우 정확한 결과를 제공하는 시스템을 구축하였습니다. 보충 자료와 동영상은 프로젝트 페이지 (http://densepose.org)에서 제공됩니다.