경계 인식형 커스텀 네트워크를 통한 시계열 행동 세그멘테이션

자르지 않은 비디오에서 인간의 행동 구간을 식별하는 것은 경계의 모호성과 과도한 분할 문제로 인해 여전히 도전 과제이다. 이러한 문제를 해결하기 위해, 두 가지 새로운 구성 요소를 도입하여 경계 인지형 계단형 네트워크( boundary-aware cascade network)를 제안한다. 첫째, 모호한 프레임에 대해 적응형 수용 영역과 더 높은 신뢰도의 예측을 가능하게 하는 새로운 계단형 패러다임인 Stage Cascade를 제안한다. 둘째, 의미론적 경계 정보를 활용하여 국소적인 예측을 통합하는 일반적이고 체계적인 부드럽게 처리 기법인 로컬 바리어 풀링(local barrier pooling)을 설계한다. 또한, 이 두 구성 요소는 종단 간(end-to-end) 방식으로 공동으로 미세 조정이 가능하다. 우리는 50Salads, GTEA, Breakfast 데이터셋 등 세 가지 도전적인 데이터셋에서 실험을 수행하여, 제안하는 프레임워크가 현재 최고 수준의 기법들보다 유의미하게 뛰어난 성능을 보임을 입증한다. 코드는 https://github.com/MCG-NJU/BCN 에서 공개되어 있다.