초록
최근 몇 년간 영상 행동 인식 분야의 많은 연구들은 공간적 및 시간적 입력 스트림을 결합한 이중 스트림 모델이 최첨단 성능을 달성하기 위해 필수적임을 보여왔다. 본 논문에서는 각 프레임에서 추정한 인간의 자세를 기반으로 한 추가적인 스트림을 도입함으로써 얻는 이점을 제시한다. 구체적으로는 RGB 입력 프레임에 자세를 렌더링하여 새로운 스트림을 구성한다. 처음에는 인간의 자세가 RGB 픽셀 값에 의해 완전히 결정되므로 이 추가 스트림이 중복될 것처럼 보일 수 있으나, 우리는 이 간단하고 유연한 추가 구성이 오히려 보완적인 성능 향상을 가져올 수 있음을 보여준다(어쩌면 놀라울 정도로). 이러한 통찰을 바탕으로, 우리는 새로운 모델인 PERF-Net(자세 기반 RGB-Flow 네트워크, Pose Empowered RGB-Flow Net의 약자)을 제안한다. 이 모델은 표준 RGB 및 흐름 기반 입력 스트림과 새로 도입한 자세 스트림을 추출 기술(distillation techniques)을 통해 통합하여, 추론 시 흐름 또는 자세를 명시적으로 계산할 필요 없이 다양한 인간 행동 인식 데이터셋에서 최첨단 기술을 크게 앞서는 성능을 달성함을 보인다. 또한 제안된 자세 스트림은 2020년 ActivityNet Kinetics 챌린지 우승 풀이의 핵심 구성 요소이기도 하다.