TriDet: 상대 경계 모델링을 활용한 시계열 행동 탐지

이 논문에서는 시계열 행동 탐지를 위한 단계별 프레임워크인 TriDet을 제안한다. 기존의 방법들은 영상 내 행동 경계의 모호성으로 인해 경계 예측이 정확하지 못하는 문제가 존재한다. 이 문제를 완화하기 위해, 경계 주변의 추정된 상대적 확률 분포를 활용하여 행동 경계를 모델링하는 새로운 트라이던트 헤드(Trident-head)를 제안한다. TriDet의 특징 피라미드 내에서, 영상 특징에서 발생하는 자기 주목(self-attention)의 순위 손실(rank loss) 문제를 완화하고 다양한 시간적 과립도(temporal granularities) 간의 정보를 통합하기 위해 효율적인 가변 과립도 인지(Scalable-Granularity Perception, SGP) 층을 도입한다. 트라이던트 헤드와 SGP 기반 특징 피라미드의 혜택을 통해, TriDet는 기존 방법들에 비해 낮은 계산 비용으로 세 가지 도전적인 벤치마크인 THUMOS14, HACS, EPIC-KITCHENS 100에서 최신 기술 수준의 성능을 달성한다. 예를 들어, TriDet은 THUMOS14에서 평균 mAP 69.3%를 기록하며 기존 최고 성능보다 2.5% 향상되었으며, 처리 지연 시간은 기존 방법의 74.6%에 불과하다. 코드는 https://github.com/sssste/TriDet 에 공개되어 있다.