BSN: 시간적 행동 제안 생성을 위한 경계 감응 네트워크

시점별 행동 제안 생성은 중요한 동시에 어려운 문제입니다. 이는 실제 세계의 장시간 비디오에서 무관한 내용이 많은 비율을 차지하기 때문에, 풍부한 행동 내용을 포함하는 시점별 제안이 필수적이기 때문입니다. 이 문제는 정확한 시점 경계를 생성하는 것뿐만 아니라, 상대적으로 적은 수의 제안으로 높은 재현율과 높은 겹침률을 달성하여 진짜 행동 인스턴스를 포괄적으로 검색하는 방법을 요구합니다. 이러한 난점을 해결하기 위해, 우리는 "로컬에서 글로벌" 방식을 채택한 효과적인 제안 생성 방법인 경계 감응 네트워크(Boundary-Sensitive Network, BSN)를 소개합니다. 로컬 차원에서는 BSN이 먼저 높은 확률로 시점 경계를 찾고, 이를 직접 결합하여 제안을 생성합니다. 글로벌 차원에서는 BSN이 경계 감응 제안 특성을 사용하여, 제안 내부에 행동이 포함되어 있는지에 대한 신뢰도를 평가하여 제안을 검색합니다. 우리는 두 개의 도전적인 데이터셋인 ActivityNet-1.3와 THUMOS14에서 실험을 수행하였으며, BSN은 다른 최신 시점별 행동 제안 생성 방법보다 높은 재현율과 높은 시점 정밀도를 보여주었습니다. 마지막으로 추가 실험에서는 기존의 행동 분류기를 결합함으로써 우리의 방법이 최신 시점별 행동 탐지 성능을 크게 향상시키는 것을 입증하였습니다.