온라인 동작 검출을 위한 정보 차별화 학습

스트리밍 비디오에서 온라인 동작 인식은 현재 진행 중인 동작을 식별하는 것을 목표로 합니다. 이 작업을 위해 기존 방법들은 순환 신경망을 사용하여 현재 동작 프레임의 시간적 시퀀스를 모델링합니다. 그러나 이러한 방법들은 입력 이미지 시퀀스가 관심 동작뿐만 아니라 배경과 관련 없는 동작도 포함하고 있다는 사실을 간과하고 있습니다. 본 논문에서는 온라인 동작 인식을 위해, 현재 진행 중인 동작에 관련된 정보와 다른 정보를 명시적으로 구분하기 위한 새로운 순환 유닛을 제안합니다. 우리의 유닛, 정보 구분 유닛(Information Discrimination Unit, IDU)은 입력 정보가 현재 동작과 얼마나 관련이 있는지를 기반으로 정보 누적 여부를 결정합니다. 이를 통해 IDU를 사용한 우리의 순환 신경망은 진행 중인 동작을 식별하기 위한 더 구분력 있는 표현을 학습할 수 있게 됩니다. TVSeries와 THUMOS-14 두 벤치마크 데이터셋에서의 실험 결과, 제안된 방법이 최신 방법들보다 크게 우수한 성능을 보였습니다. 또한, 포괄적인 아블레이션 연구를 통해 우리의 순환 유닛의 효과성을 입증하였습니다.