초록
골격 기반 인간 동작 인식은 컴팩트하고 고수준의 표현을 제공함으로써 최근 활발한 연구 주제로 부상하고 있다. 기존 연구들은 공간적 및 시간적 차원에서 관절 간의 관계를 탐구함으로써 동작 인식에 중요한 효과적인 정보를 제공함을 입증해왔다. 그러나 공간-시간 특징 추출 과정에서 관절 간의 전역적 의존성을 효과적으로 인코딩하는 것은 여전히 도전 과제이다. 본 논문에서는 골격 시퀀스 내 관절 간 잠재적 상관관계를 고려하여 동작과 관련된 핵심 관절을 식별하는 '액션 캡슐(Action Capsule)'을 제안한다. 우리는 추론 과정에서 종단적(end-to-end) 네트워크가 각 동작에 특화된 일정한 관절 집합에 주목하며, 해당 관절의 인코딩된 공간-시간 특징을 집계함으로써 동작을 인식함을 보여준다. 또한, 다단계의 액션 캡슐을 활용함으로써 유사한 동작을 구분하는 네트워크의 능력이 향상됨을 확인하였다. 결과적으로, 본 연구의 네트워크는 N-UCLA 데이터셋에서 최신 기술(SOTA)을 초월하였으며, NTURGBD 데이터셋에서도 경쟁력 있는 성능을 달성하였다. 더불어 GFLOPs 측정 기준에 따르면 본 접근법은 상당히 낮은 계산 요구량을 보이고 있다.