비디오 기반 개인 재식별을 위한 다중 입자 구조 하이퍼그래프 학습

비디오 기반 인물 재식별(Re-identification, re-ID)은 컴퓨터 비전 분야에서 중요한 연구 주제이다. 이 도전적인 과제를 해결하기 위한 핵심은 비디오 시퀀스 내에서 공간적 및 시간적 정보를 효과적으로 활용하는 것이다. 본 연구에서는 다중 그레인(granularity)의 관점에서 공간-시간적 의존성을 모델링함으로써 더 우수한 표현 능력을 달성하기 위해 새로운 그래프 기반 프레임워크인 다중 그레인 하이퍼그래프(Multi-Granular Hypergraph, MGH)를 제안한다. 구체적으로, 비디오 시퀀스 전반에 걸쳐 다양한 부분 기반(feature-based) 특징 수준을 활용하여 서로 다른 공간 그레인을 갖는 하이퍼그래프를 구축한다. 각 하이퍼그래프 내에서는 시간적으로 다른 범위에 걸쳐 존재하는 그래프 노드(즉, 부분 기반 특징)를 연결하는 하이퍼엣지(hyperedge)를 통해 다양한 시간 그레인을 캡처한다. 제안된 하이퍼그래프 전파 및 특징 집약 방식을 통해 재식별 과정에서 발생하는 두 가지 주요 문제인 특징 불일치(misalignment)와 가림(occlusion)을 명시적으로 해결한다. 또한, 상호정보량 최소화 기반의 다중 그레인에 걸친 그래프 수준 표현을 학습함으로써 전반적인 비디오 표현력을 추가로 향상시킨다. 세 가지 널리 채택된 벤치마크에서 실시한 광범위한 실험을 통해 제안된 프레임워크의 효과성이 명확히 입증되었다. 특히 MGH를 사용하여 MARS 데이터셋에서 90.0%의 top-1 정확도를 달성하였으며, 기존 최고 성능 기법들을 모두 상회하였다. 코드는 https://github.com/daodaofr/hypergraph_reid 에 공개되어 있다.