약한 지도(Temporal Action Localization)를 위한 점진적 보완 학습 기반 접근법

약한 감독(Temporal Action Localization, WSTAL)은 긴 트림되지 않은 영상에서 비디오 수준의 카테고리 레이블만을 이용하여 행동 인스턴스의 위치를 추적하고 분류하는 것을 목표로 한다. 행동 경계를 나타내는 스크립트 수준의 감독 정보가 부족한 상황에서 기존 방법들은 레이블이 없는 스크립트에 가상 레이블(pseudo labels)을 할당하는 방식을 사용한다. 그러나 서로 다른 카테고리의 행동 인스턴스가 시각적으로 유사한 경우, 한 스크립트에 대해 정확히 하나의 행동 카테고리만을 할당하는 것은 쉽지 않으며, 잘못된 가상 레이블은 위치 추정 성능에 악영향을 미친다. 이 문제를 해결하기 위해 우리는 카테고리 배제(category exclusion) 관점에서 새로운 방법, 즉 점진적 보완 학습(Progressive Complementary Learning, ProCL)을 제안한다. 이 방법은 스크립트 수준의 감독을 점진적으로 강화한다. 본 연구의 아이디어는 비디오 수준의 레이블이 모든 스크립트가 분명히 속하지 않는 카테고리를 정확히 지시한다는 점에 기반한다. 이 사실은 기존 연구에서 간과되어 왔다. 따라서 우리는 보완 학습 손실(loss)을 활용하여 이러한 확실히 존재하지 않는 카테고리를 먼저 배제한다. 이후, 모호성이 낮은 스크립트에 대해 배경 인식 보완 가상 레이블링(background-aware pseudo complementary labeling)을 도입하여 보다 많은 카테고리를 배제한다. 더불어, 여전히 모호한 스크립트에 대해서는 전경 행동과 배경을 구분함으로써 모호성을 줄이는 시도를 한다. 광범위한 실험 결과를 통해 본 방법은 대표적인 두 가지 벤치마크인 THUMOS14와 ActivityNet1.3에서 새로운 최고 성능(SOTA)을 달성함을 입증하였다.