18일 전
다중 시점 행동 인식을 위한 대조 학습
{Rama Chellappa, Celso M. de Melo, Chun Pong Lau, Anshul Shah, Ketul Shah}

초록
이 연구에서는 다중 시점 영상을 활용한 RGB 기반 행동 인식을 위한 방법을 제안한다. 우리는 다중 시점 데이터를 효과적으로 활용함으로써 시점 변화에 강건한 특징 임베딩을 학습하기 위해 감독형 대조 학습 프레임워크를 제안한다. 개선된 감독형 대조 손실을 사용하며, 동기화된 시점에서 얻은 긍정 샘플을 증강한다. 또한, 대조 손실에서 어려운 음성 샘플을 선택하는 데 있어 분류기의 확률을 활용하는 새로운 접근법을 제안하여 더 구분력 있는 표현을 학습한다. 사후 확률 기반으로 혼동되는 클래스에서 유래한 음성 샘플은 더 높은 가중치를 부여한다. 또한, 합성 다중 시점 데이터를 기반으로 한 표준 감독 학습에 비해 본 방법이 더 우수한 도메인 일반화 성능을 보임을 보여준다. 실제 데이터(NTU-60, NTU-120, NUMA)와 합성 데이터(RoCoG)에 대한 광범위한 실험을 통해 제안하는 방법의 효과성을 입증한다.