17일 전

소수 샘플 동작 인식을 위한 공간-시간 관계 모델링

Anirudh Thatipelli, Sanath Narayan, Salman Khan, Rao Muhammad Anwer, Fahad Shahbaz Khan, Bernard Ghanem
소수 샘플 동작 인식을 위한 공간-시간 관계 모델링
초록

우리는 클래스 특이적 특징의 구분 능력을 향상시키면서 동시에 고차원 시간적 표현을 학습할 수 있도록 하는 새로운 소수 샘플 동작 인식 프레임워크인 STRM을 제안한다. 본 연구의 핵심은 공간적 및 시간적 맥락을 통합하는 새로운 스펙트로-시계열 풍부화 모듈(스파티오-타임리얼 리치먼트 모듈)이다. 이 모듈은 국소적인 패치 수준과 전역적인 프레임 수준의 특징 풍부화 하위 모듈을 별도로 설계하여 공간적 및 시간적 정보를 효과적으로 통합한다. 국소 패치 수준의 풍부화는 동작의 외형적 특징을 포착하며, 반면 전역 프레임 수준의 풍부화는 넓은 시간적 맥락을 명시적으로 인코딩함으로써 시간에 따라 변화하는 관련 객체 특징을 효과적으로 포착한다. 이를 통해 생성된 스펙트로-시계열 풍부화된 표현은 쿼리와 서포트 동작 하위 시퀀스 간의 관계 매칭을 학습하는 데 활용된다. 또한, 제안된 프레임워크의 다양한 단계에서 특징 학습을 강화함으로써 클래스 특이적 특징의 구분 능력을 더욱 높이기 위해, 패치 수준 풍부화 특징 위에 쿼리-클래스 유사도 분류기를 도입한다. 실험은 네 가지 소수 샘플 동작 인식 벤치마크(Kinetics, SSv2, HMDB51, UCF101)에서 수행되었으며, 광범위한 아블레이션 스터디를 통해 제안된 기법들의 효과를 입증하였다. 더불어, 본 연구의 접근법은 네 가지 벤치마크에서 모두 최신 기준(SOTA)을 달성하였다. 특히 도전적인 SSv2 벤치마크에서 기존 최고 성능의 방법 대비 분류 정확도에서 절대적인 개선($3.5\%$)을 기록하였다. 본 연구의 코드와 모델은 https://github.com/Anirudh257/strm 에 공개되어 있다.

소수 샘플 동작 인식을 위한 공간-시간 관계 모델링 | 최신 연구 논문 | HyperAI초신경