다중 작업 학습을 통한 거친 사전 지식을 활용한 강건한 부위 인지(person re-identification)

개별 부위 수준의 표현은 강건한 인물 재식별(Person Re-identification, ReID)에 있어 중요한 요소이지만, 실질적으로 신체 부위의 정렬 오차 문제로 인해 특징의 품질이 저하되는 문제가 발생한다. 본 논문에서는 보행자 이미지로부터 의미적으로 정렬된 부위 수준의 특징을 추출할 수 있도록 설계된, 강건하고 컴팩트하며 사용이 간편한 새로운 방법인 다중 작업 부위 인지 네트워크(Multi-task Part-aware Network, MPN)를 제안한다. MPN은 학습 단계에서 다중 작업 학습(Multi-task Learning, MTL)을 통해 신체 부위 정렬 오차 문제를 해결한다. 구체적으로, 동일한 백본 모델 위에 각 신체 부위에 대해 하나의 주 작업(Main Task, MT)과 하나의 보조 작업(Auxiliary Task, AT)을 구성한다. 각 AT는 학습 이미지의 신체 부위 위치에 대한 대략적인 사전 지식(coarse prior)을 갖추고 있으며, 이를 통해 백본 모델의 관련 채널들에서 부위 관련 특징을 식별하도록 MT의 파라미터를 최적화함으로써 MT에 신체 부위 개념을 전달한다. 이러한 개념 전달은 두 가지 새로운 정렬 전략을 통해 달성된다: 첫째, 하드 파라미터 공유를 통한 파라미터 공간 내 정렬, 둘째, 클래스별로 나누어진 특징 공간 내 정렬이다. 학습 과정에서 얻은 고품질의 파라미터를 활용하여, 테스트 단계에서 MT는 독립적으로 관련 채널로부터 의미적으로 정렬된 부위 수준의 특징을 추출할 수 있다. MPN의 세 가지 핵심 장점은 다음과 같다. 첫째, 추론 단계에서 신체 부위 감지 작업을 수행할 필요가 없다. 둘째, 모델이 매우 컴팩트하고 학습 및 추론 모두에서 효율적이다. 셋째, 학습 단계에서 요구하는 신체 부위 위치 사전 지식은 대략적인 정보만 필요하며, 쉽게 확보할 수 있다. 네 개의 대규모 ReID 데이터베이스에서 수행한 체계적인 실험 결과, MPN은 기존 최고 수준의 접근 방식들에 비해 유의미한 성능 향상을 보였다. 코드는 다음 링크에서 제공된다: https://github.com/WangKan0128/MPN.