Hybrid Relation Guided Set Matching for Few-shot Action Recognition 하이브리드 관계 지도 세트 매칭을 이용한 소수 샷 행동 인식

현재의 소수 샘플 동작 인식 방법들은 에피소드 학습을 통해 각 비디오의 차별적 특징을 학습하고 다양한 시간 정렬 전략을 설계하여 뛰어난 성능을 보여주고 있습니다. 그럼에도 불구하고, 이러한 방법들은 (a) 전체 작업을 고려하지 않고 개별 특징을 학습함으로써 현재 에피소드에서 가장 관련성이 높은 정보를 잃을 수 있으며, (b) 이러한 정렬 전략이 미스얼라이먼트(misaligned)된 인스턴스에서 실패할 수 있다는 한계가 있습니다. 이 두 가지 제한점을 극복하기 위해, 우리는 하이브리드 관계 모듈과 집합 매칭 메트릭이라는 두 가지 주요 구성 요소를 포함하는 새로운 하이브리드 관계 유도 집합 매칭(HyRSM) 접근법을 제안합니다. 하이브리드 관계 모듈의 목적은 에피소드 내에서 비디오 간 및 비디오 간의 연관 관계를 충분히 활용하여 작업 특정 임베딩(task-specific embeddings)을 학습하는 것입니다. 작업 특정 특징들을 기반으로, 우리는 쿼리 비디오와 서포트 비디오 사이의 거리 측정(distance measure) 문제를 집합 매칭 문제로 재구성하고, 이를 바탕으로 양방향 평균 하우스도르프 메트릭(bidirectional Mean Hausdorff Metric)을 설계하여 미스얼라이먼트(misaligned)된 인스턴스에 대한 견고성을 향상시킵니다. 이렇게 함으로써 제안된 HyRSM은 소수 샘플 설정(few-shot settings)에서 쿼리 카테고리를 예측하는 데 있어 매우 유익하고 유연하게 작동할 수 있습니다. 우리는 HyRSM을 여섯 개의 도전적인 벤치마크에서 평가하였으며, 실험 결과는 현존하는 최신 방법들(state-of-the-art methods)보다 명확한 우위를 보임으로써 그 우수성을 입증하였습니다. 프로젝트 페이지: https://hyrsm-cvpr2022.github.io/.