Universal Representation을 활용한 Unseen Action 인식에 대한 연구

미지 행동 인식(Unseen Action Recognition, UAR)은 훈련 예제 없이 새로운 행동 범주를 인식하는 것을 목표로 합니다. 이전 방법들은 주로 데이터셋 내의 관찰된/미관찰된 분할에 초점을 맞추었지만, 본 논문에서는 대규모 훈련 자료를 사용하여 보다 현실적인 크로스-데이터셋 UAR(Cross-Dataset UAR, CD-UAR) 시나리오에서 일반화할 수 있는 유니버설 표현(Universal Representation, UR)을 달성하기 위한 파이프라인을 제안합니다. 먼저 UAR을 일반화된 다중 인스턴스 학습(Generalised Multiple-Instance Learning, GMIL) 문제로 다루고, 분포 커널을 사용하여 대규모 ActivityNet 데이터셋에서 '빌딩 블록'을 발견합니다. 공유 공간에서 필수적인 시각적 및 의미적 구성 요소가 보존되어 효율적으로 새로운 데이터셋으로 일반화할 수 있는 UR을 달성합니다. 예측된 UR 사례는 간단한 의미적 적응을 통해 개선될 수 있으며, 이를 통해 테스트 중에 미지의 행동을 직접적으로 인식할 수 있습니다. 추가 훈련 없이 광범위한 실험 결과는 UCF101 및 HMDB51 벤치마크에서 상당한 개선을 보여줍니다.