BSN++: 시계열 행동 제안 생성을 위한 보완적 경계 회귀기와 규모 균형 관계 모델링

잘림되지 않은 비디오에서 인간 행동 제안을 생성하는 것은 넓은 응용 분야를 가진 중요한 과제이지만, 이는 매우 어려운 문제입니다. 현재의 방법들은 제안 검색에 사용되는 신뢰도 점수의 품질이 떨어지고 경계 위치가 노이즈가 많은 문제를 자주 겪습니다. 본 논문에서는 이러한 문제를 해결하기 위해 보완적인 경계 회귀기와 관계 모델링을 활용한 새로운 프레임워크인 BSN++를 제시합니다.먼저, 시작 경계 분류기와 종료 경계 분류기의 보완적 특성을 기반으로 한 새로운 경계 회귀기를 제안합니다. 구체적으로, 중첩된 스킵 연결을 포함한 U형 아키텍처를 사용하여 풍부한 문맥을 포착하고, 양방향 경계 매칭 메커니즘을 도입하여 경계 정밀도를 개선하였습니다.둘째, 이전 방법들에서 무시되었던 제안-제안 관계를 고려하기 위해 위치와 채널 측면에서 두 개의 자기 주의 모듈을 포함하는 제안 관계 블록을 설계하였습니다.또한, 긍정/부정 제안과 시간적 지속 시간에 있어 데이터 불균형 문제가 필연적으로 존재하며, 이는 꼬리 분포에서 모델 성능에 해롭다는 것을 발견하였습니다. 이러한 문제를 완화하기 위해 스케일 균형 재샘플링 전략을 도입하였습니다.ActivityNet-1.3 및 THUMOS14라는 두 가지 인기 벤치마크에서 광범위한 실험을 수행한 결과, BSN++가 최신 기술 수준의 성능을 달성함을 입증하였습니다. 예상대로, 제안된 BSN++는 CVPR19 - ActivityNet 챌린지 리더보드에서 시간적 행동 정위치 태스크에서 1위를 차지하였습니다.