초록
최근 몇 년 동안, 비편집 영상의 자동 이해 시스템 구축을 위한 행동 분할이 상당한 주목을 받고 있습니다. 이는 일반적으로 시퀀스 라벨링 문제로 모델링되지만, 텍스트 파싱이나 음성 처리와는 본질적이고 충분한 차이가 있습니다. 본 논문에서는 인코더-디코더 아키텍처를 갖춘 새로운 하이브리드 시간적 컨볼루션 및 순환 신경망 (TricorNet)을 소개합니다. 인코더는 다양한 행동의 국소적인 운동 변화를 포착하는 시간적 컨볼루션 커널의 계층으로 구성되어 있으며, 디코더는 인코딩 단계 후 장기적인 행동 의존성을 학습하고 기억할 수 있는 순환 신경망의 계층으로 구성되어 있습니다. 우리의 모델은 간단하지만 비디오 시퀀스 라벨링 측면에서 매우 효과적입니다. 세 개의 공개된 행동 분할 데이터셋에 대한 실험 결과는 제안된 모델이 기존 최신 연구보다 우수한 성능을 보임을 입증하였습니다.