포즈 및 관절 인지 행동 인식

최근 행동 인식 분야의 주요 연구는 RGB 및 광학 흐름 특징에 집중해 왔다. 본 논문에서는 관절 기반 행동 인식 문제에 초점을 맞춘다. 다른 모달리티와 달리, 관절의 배열과 그 운동은 행동 인식을 위한 간결한 인간 운동 정보 모델을 생성한다. 우리는 각 관절에서 독립적으로 움직임 특징을 추출한 후 공통적인 움직임 인코더를 통해 집합적 추론을 수행하는 새로운 관절 기반 행동 인식 모델을 제안한다. 또한, 작업에 가장 구분력 있는 관절을 선택하기 위해 관절 정보를 재가중하는 관절 선택 모듈을 도입한다. 더불어, 동일한 행동을 전달하는 관절 특징 그룹을 서로 가까이 끌어오는 새로운 관절 대조 손실(joint-contrastive loss)을 제안한다. 행동의 역학을 유지하면서 자세 히트맵을 소요하는 기하학적 인지 데이터 증강 기법을 활용하여 관절 기반 표현을 강화한다. 제안한 모델은 JHMDB, HMDB, Charades, AVA 행동 인식 데이터셋에서 현재 최고 수준의 관절 기반 접근법보다 큰 성능 향상을 보였다. RGB 및 흐름 기반 접근법과의 후기 융합(fusion)을 통해 추가적인 성능 향상이 이루어졌다. 또한, 맥락 외의 행동을 포함한 Mimetics 데이터셋에서도 기존 베이스라인을 능가하는 성능을 기록하였다.