PersonLab: 하향식, 부품 기반, 기하학적 임베딩 모델을 이용한 사람 자세 추정 및 인스턴스 분할

다중 인물 이미지에서의 자세 추정과 인스턴스 분할 작업을 위해 효율적인 싱글샷 모델을 사용한 박스 없는 바텀업 접근 방식을 제시합니다. 제안된 PersonLab 모델은 파트 기반 모델링을 통해 의미 수준의 추론과 객체 부품 연관성을 동시에 다룹니다. 본 모델은 개별 키포인트를 감지하고 그 상대적 변위를 예측하는 합성곱 신경망을 사용하여, 이를 통해 키포인트들을 사람 자세 인스턴스로 그룹화할 수 있습니다. 또한, 파트 유도 기하학적 임베딩 설명자를 제안하여 의미적인 사람 픽셀들을 해당하는 사람 인스턴스와 연관시키고, 이로써 인스턴스 수준의 사람 분할 결과를 제공합니다. 본 시스템은 완전 합성곱 구조를 기반으로 하며, 장면에 나타난 사람 수와 무관하게 효율적인 추론이 가능하도록 설계되었습니다. COCO 데이터만으로 훈련된 본 시스템은 싱글 스케일 추론 시 COCO 테스트-개발 키포인트 평균 정밀도 0.665, 멀티 스케일 추론 시 0.687를 달성하여 모든 이전 바텀업 자세 추정 시스템을 크게 능가했습니다. 또한 본 방법은 COCO 인스턴스 분할 작업에서 사람 클래스에 대한 경쟁력 있는 결과를 보고한 첫 번째 바텀업 방법으로, 사람 카테고리 평균 정밀도 0.417를 달성하였습니다.