딥러닝을 통한 사람 재식별: 종합적 조망 및 전망

사람 재식별(Person re-identification, Re-ID)은 여러 개의 중복되지 않는 카메라 간에 관심 대상 사람을 검색하는 것을 목표로 한다. 심층 신경망의 발전과 스마트 영상 감시에 대한 수요 증가에 따라, 컴퓨터 비전 분야에서 큰 관심을 받고 있다. 사람 Re-ID 시스템 개발 과정에서 포함된 주요 구성 요소를 분석함으로써, 이를 폐쇄 세계(closed-world) 설정과 개방 세계(open-world) 설정으로 분류할 수 있다. 기존에 널리 연구되어 온 폐쇄 세계 설정은 다양한 연구 중심의 가정 하에서 적용되며, 심층 학습 기법을 활용해 여러 데이터셋에서 놀라운 성과를 거두었다. 본 연구에서는 폐쇄 세계 설정의 사람 Re-ID에 대해 세 가지 다른 관점—심층 특징 표현 학습(deep feature representation learning), 심층 거리 측정 학습(deep metric learning), 순위 최적화(ranking optimization)—에서 포괄적이고 심층적인 분석을 수행한다. 폐쇄 세계 설정에서 성능이 포화 상태에 이르면서, 최근 사람 Re-ID 연구의 초점은 더욱 도전적인 과제를 안고 있는 개방 세계 설정으로 이동하고 있다. 이 설정은 특정 시나리오 하에서 실제 응용과 더 가까운 상황을 반영한다. 우리는 개방 세계 Re-ID를 다섯 가지 다른 측면에서 요약하고, 기존 방법들의 장점을 분석한 후, 12개의 데이터셋에서 네 가지 다른 Re-ID 작업에 대해 최첨단 또는 최소한 경쟁 가능한 성능을 달성하는 강력한 AGW 기준선(baseline)을 제안한다. 동시에, 실제 응용을 위한 Re-ID 시스템 평가에 추가적인 기준을 제공하기 위해, 모든 정확한 매칭을 찾는 데 드는 비용을 나타내는 새로운 평가 지표(mINP)를 도입한다. 마지막으로, 중요한데도 불구하고 충분히 탐구되지 않은 몇 가지 개방된 문제들을 논의한다.