개인 탐색: 공동 신체 분석 및 자세 추정 네트워크와 새로운 벤치마크

최근 인간 분석(Human parsing)과 자세 추정(Pose estimation)은 그들의 상당한 응용 가능성이 있어 많은 관심을 받고 있습니다. 그러나 기존의 데이터셋들은 제한된 수의 이미지와 주석을 제공하며, 제약이 없는 환경에서의 도전적인 사례에 대한 다양한 인간의 모습과 포괄성을 부족하고 있습니다. 본 논문에서는 이러한 문제를 해결하기 위해 스케일 확장성, 다양성, 난이도 측면에서 중요한 발전을 제공하는 새로운 벤치마크인 "Look into Person (LIP)"을 소개합니다. 이 종합적인 데이터셋은 19개의 의미 부분 라벨과 16개의 신체 관절을 포함하는 50,000여 장 이상의 정교하게 주석화된 이미지를 담고 있으며, 다양한 시점, 가림 현상, 복잡한 배경에서 촬영되었습니다. 이러한 풍부한 주석들을 이용하여 우리는 선두적인 인간 분석 및 자세 추정 접근법에 대한 상세한 분석을 수행하여, 이 방법들의 성공과 실패에 대한 통찰력을 얻었습니다. 또한 두 작업 간의 의미적 연관성을 더욱 탐구하고 활용하기 위해, 효율적인 컨텍스트 모델링을 탐색할 수 있는 새로운 공동 인간 분석 및 자세 추정 네트워크를 제안합니다. 이 네트워크는 매우 높은 품질로 동시에 파싱과 자세를 예측할 수 있습니다. 더 나아가서, 우리는 추가적인 감독 없이 인간 자세 구조를 파싱 결과에 적용할 수 있는 새로운 자기 지도 구조 민감 학습 방식을 탐색하여 인간 분석 문제를 단순화하였습니다. 데이터셋, 코드 및 모델은 http://www.sysu-hcp.net/lip/ 에서 확인할 수 있습니다.