다중 레이블 동작 종속성 모델링을 통한 시계열 동작 지역화

실제 영상은 서로 관련된 복잡한 행동들로 구성되어 있으며, 행동 클래스 간에 내재된 관계가 존재한다. 본 연구에서는 이러한 행동 간 관계를 모델링하는 주의 기반 아키텍처를 제안하여, 정제되지 않은 영상에서 시간적 행동 지역화(temporal action localization) 작업을 수행한다. 기존의 연구들이 행동의 영상 수준(co-occurrence)에서의 동시 발생을 활용하는 것과 달리, 우리는 동일 시점에 발생하는 행동 간의 관계와 서로 이전 또는 이후에 발생하는 행동 간의 관계(즉, 시간적 순서에 따른 관계)를 구분한다. 이러한 구분된 관계를 행동 의존성(action dependencies)이라 정의한다. 우리는 새로운 주의 기반 다중 레이블 행동 의존성(Multi-Label Action Dependency, MLAD) 레이어를 도입하여 행동 의존성을 모델링함으로써 행동 지역화 성능을 향상시키고자 한다. MLAD 레이어는 두 가지 분기(branch)로 구성되며, 각각 동시 발생 행동 의존성(co-occurrence action dependencies)과 시간적 행동 의존성(temporal action dependencies)을 모델링하는 데 사용된다. 기존의 다중 레이블 분류에 사용되는 지표들이 행동 의존성의 모델링 정도를 명시적으로 측정하지 못한다는 점을 관찰한 바, 우리는 행동 클래스 간의 동시 발생 및 시간적 의존성을 모두 고려하는 새로운 지표를 제안한다. 실증적 평가와 광범위한 분석을 통해, 다중 레이블 행동 지역화 벤치마크(MultiTHUMOS 및 Charades)에서 기존 최고 성능 기법들에 비해 f-mAP 및 본 연구에서 제안한 새로운 지표 측면에서 개선된 성능을 보여주었다.