과도한 세분화 오류 완화를 위한 동작 경계 탐지

우리는 시계열 행동 분할(task)을 위한 효과적인 프레임워크인 행동 구간 개선 프레임워크(ASRF, Action Segment Refinement Framework)를 제안한다. 본 모델 아키텍처는 장기적 특징 추출기와 두 가지 분기(branch)로 구성된다. 즉, 행동 분할 분기(ASB, Action Segmentation Branch)와 경계 회귀 분기(BRB, Boundary Regression Branch)이다. 장기적 특징 추출기는 넓은 시계적 수용 영역을 갖추고 있어, 두 분기 간에 공유되는 특징을 제공한다. ASB는 비디오 프레임을 행동 클래스로 분류하는 반면, BRB는 행동 경계의 확률을 회귀한다. BRB가 예측한 행동 경계는 ASB의 출력을 정교화하여 성능 향상이 크게 이루어진다. 본 연구의 기여는 세 가지이다. (i) 시계열 행동 분할을 프레임 단위 행동 분류와 행동 경계 회귀로 분해하는 ASRF 프레임워크를 제안한다. 본 프레임워크는 예측된 행동 경계를 활용하여 프레임 수준의 행동 클래스 가설을 개선한다. (ii) 행동 확률의 전이를 부드럽게 하는 손실 함수를 제안하고, 시계열 행동 분할에 적합한 다양한 손실 함수 조합의 효과를 분석한다. (iii) 세 가지 도전적인 데이터셋에서 최첨단 기법들을 초월하며, 구간 편집 거리(segmental edit distance) 기준 최대 13.7%의 성능 향상과, 구간 F1 점수(segmental F1 score) 기준 최대 16.1%의 향상을 달성한다. 본 연구의 코드는 곧 공개될 예정이다.