아이디 기반 인간 세미틱 분할을 통한 사람 재식별

기존의 정렬 기반 방법들은 픽셀 수준의 정렬을 달성하기 위해 사전 학습된 인간 세분화 모델을 사용해야 하며, 사람 재식별(Person Re-ID)에 핵심적인 역할을 하는 개인 소지품(예: 배낭, 손잡이 가방 등)을 식별할 수 없다. 본 논문에서는 사람의 신원 레이블만을 사용하여 인간 신체 부위와 개인 소지품을 모두 픽셀 수준에서 정확히 위치시키는 신원 유도형 인간 의미 세분화 접근법(Identity-guided Human Semantic Parsing, ISP)을 제안한다. 우리는 특징 맵에 대해 계단식 군집화(cascaded clustering)를 설계하여 인간 부위의 의사 레이블(pseudo-labels)을 생성한다. 구체적으로, 한 사람의 모든 이미지에 대한 픽셀을 먼저 전경 또는 배경으로 분류한 후, 전경 픽셀을 인간 부위로 다시 군집화한다. 이 군집 할당 결과는 인간 부위의 의사 레이블로 사용되며, 이를 통해 부위 추정과 ISP가 반복적으로 특징 맵을 학습하고 군집화를 수행한다. 최종적으로, 자가 학습된 부위 추정 결과를 바탕으로 인간 신체 부위와 개인 소지품의 국소 특징을 획득하며, 검색 과정에서는 가시 영역의 특징만을 활용한다. 세 가지 널리 사용되는 데이터셋에서 실시한 광범위한 실험을 통해 ISP가 다수의 최신 기술 대비 우수한 성능을 보임을 입증하였다. 본 논문의 코드는 https://github.com/CASIA-IVA-Lab/ISP-reID 에 공개되어 있다.