초록
현재의 비디오/행동 이해 시스템은 대규모 인식 작업에서 놀라운 성능을 보여주고 있다. 그러나 이러한 시스템들은 행동을 깊이 이해하려는 시도보다는, 단지 시공간적 패턴을 인식하는 데에 국한되어 있을 수 있다. 진정한, 더 깊은 비디오 이해를 향한 발전을 촉진하기 위해, 우리는 '성공-실패 행동 인식'이라는 새로운 과제를 제안한다. 이는 다양한 활동에 대한 성공적인 시도와 실패한 시도를 구분하는 것을 목표로 한다. 우리는 '일반 스턴트', '인터넷 성공-실패 사례', '트릭 샷', '파티 게임' 등 네 가지 영역의 샘플을 포함한, 세계 최초의 성공-실패 행동 이해를 위한 쌍으로 구성된 데이터셋을 소개한다. 기존의 행동 인식 데이터셋과 달리, 클래스 내 변동성이 매우 높아 과제는 도전적이나 실현 가능하다. 우리는 원형 행동 인식 네트워크와 새로운 비디오 검색 과제를 통해 성공-실패 과제/데이터셋의 특성을 체계적으로 분석하였다. 현재의 행동 인식 기법은 본 과제/데이터셋에서 잘 작동하지만, 높은 성능을 달성하기까지 여전히 큰 격차가 존재한다. 우리는 이러한 결과를 바탕으로 행동과 비디오에 대한 진정한 이해를 향한 추가 연구를 촉진하고자 한다. 데이터셋은 https://github.com/ParitoshParmar/Win-Fail-Action-Recognition 에서 공개될 예정이다.