인스턴스 수준의 인간 해석을 위한 부품 그룹핑 네트워크

실세계 인간 분석 시나리오를 위한 인스턴스 수준의 인간 파싱은 충분한 데이터 자원 부족과 단일 패스에서 여러 인스턴스를 파싱하는 기술적 어려움으로 아직 충분히 연구되지 않았습니다. 관련 연구들은 대부분 검출 모델을 별도로 훈련하여 인스턴스를 위치 결정한 후 각 인스턴스에 대해 순차적으로 인간 파싱을 수행하는 "검출을 통한 파싱" 파이프라인을 따르고 있습니다. 그러나, 검출과 파싱의 두 가지 다른 최적화 목표는 최종 결과에 대한 표현 학습의 비최적화와 오류 누적을 초래합니다. 본 연구에서는 처음으로 검출 과정이 없는 부분 그룹핑 네트워크 (Part Grouping Network, PGN)를 탐구하여 이미지 내 여러 사람을 단일 패스로 효율적으로 파싱할 수 있도록 합니다. 우리의 PGN은 인스턴스 수준의 인간 파싱을 두 개의 연관된 하위 작업으로 재구성하여 통합된 네트워크를 통해 공동 학습 및 상호 정제가 가능하도록 합니다: 1) 각 픽셀을 인간 부분 (예: 얼굴, 팔)로 할당하기 위한 의미론적 부분 세그멘테이션; 2) 의미론적 부분들을 서로 다른 개인 인스턴스로 그룹화하기 위한 인스턴스 인식 경계 검출. 이로써 공유 중간 표현은 세부적인 부분들을 특징화하고 각 부분의 인스턴스 소속 관계를 추론하는 능력을 동시에 갖추게 됩니다. 마지막으로, 추론 시 간단한 인스턴스 분할 프로세스를 사용하여 최종 결과를 얻습니다. 우리는 PASCAL-Person-Part 데이터셋에서 실험을 수행하였으며, 우리의 PGN은 모든 최신 방법보다 우수한 성능을 보였습니다. 또한, 38,280개 이상의 다양한 이미지를 포함하는 새로 수집된 다중 사람 파싱 데이터셋 (CIHP)에서 그 우수성을 입증하였습니다. 이 CIHP 데이터셋은 현재까지 가장 큰 데이터셋이며 더 고급의 인간 분석을 촉진할 수 있습니다. CIHP 벤치마크와 우리 소스 코드는 http://sysu-hcp.net/lip/에서 제공됩니다.