시계열 동작 제안을 위한 빠른 학습: 밀도 높은 경계 생성기 기반 접근

시간적 동작 제안(TEMPORAL ACTION PROPOSALS) 생성은 여전히 매우 도전적인 문제이며, 주요 과제는 긴 비트레이닝(UNTRIMMED) 실세계 영상에서 정밀한 시간적 제안 경계를 예측하고 신뢰할 수 있는 동작 신뢰도(confidence)를 도출하는 데 있다. 본 논문에서는 경계 민감한 방법에 영감을 받아, 밀집 분포된 제안에 대해 경계 분류와 동작 완전성 회귀를 동시에 수행하는 효율적이고 통합적인 프레임워크인 밀집 경계 생성기(Dense Boundary Generator, DBG)를 제안한다. 특히 DBG는 두 가지 모듈로 구성된다: 시간적 경계 분류(Temporal Boundary Classification, TBC)와 동작 인식 완전성 회귀(Action-aware Completeness Regression, ACR). TBC는 저수준의 이중 스트림 특징을 이용해 두 개의 시간적 경계 신뢰도 맵을 생성하는 것을 목표로 하며, ACR는 고수준의 동작 인식 특징을 활용하여 동작 완전성 점수 맵을 생성하도록 설계되었다. 또한, RGB와 광학 흐름 정보를 효과적으로 인코딩하기 위해 이중 스트림 베이스넷(Dual Stream BaseNet, DSB)을 도입하여 구분 가능한 경계 및 동작 특징을 잘 포착할 수 있도록 했다. ActivityNet-1.3 및 THUMOS14와 같은 대표적인 벤치마크에서 실시한 광범위한 실험 결과는 DBG가 최신 기술(MGG 및 BMN 등)을 상회하는 성능을 보임을 입증한다. 본 논문 게재 후 코드를 공개할 예정이다.