BMN: 시간 영역 행동 제안 생성을 위한 경계 일치 네트워크

시간적 행동 제안 생성은 실제 비디오에서 행동이나 사건이 발생할 수 있는 시간 영역을 찾는 어려우면서도 유망한 과제입니다. 현재 하향식 제안 생성 방법들은 정확한 경계를 가진 제안들을 생성할 수 있지만, 제안들을 검색하기 위한 충분히 신뢰할 수 있는 확신 점수를 효율적으로 생성하지 못합니다. 이러한 문제를 해결하기 위해, 우리는 밀집된 분포의 제안들의 확신 점수를 평가하는 경계 일치(Boundary-Matching, BM) 메커니즘을 도입하였습니다. 이 메커니즘은 시작과 종료 경계의 일치 쌍으로 제안을 표시하고, 모든 밀집된 분포의 BM 쌍들을 BM 확신 맵으로 결합합니다. BM 메커니즘을 기반으로, 우리는 정확한 시간 경계와 함께 신뢰할 수 있는 확신 점수를 동시에 생성하는 효과적이고 효율적이며 단일화된 제안 생성 방법인 경계 일치 네트워크(Boundary-Matching Network, BMN)를 제안합니다. BMN의 두 가지 분기(branch)는 통합된 프레임워크에서 공동으로 훈련됩니다. 우리는 THUMOS-14와 ActivityNet-1.3라는 두 개의 어려운 데이터셋에서 실험을 수행하였으며, 여기서 BMN은 뛰어난 효율성과 일반화 능력을 보여주며 성능이 크게 향상되었습니다. 또한 기존의 행동 분류기와 결합하면, BMN은 최고 수준의 시간적 행동 감지 성능을 달성할 수 있습니다.