뼈대 기반 동작 인식을 위한 새로운 프로토타입적 관점: 차이를 인식하기 위해 핵심적인 세부 정보 드러내기

스켈레톤 기반 동작 인식에서 주요 과제는 스켈레톤 표현에 이미지 수준의 세부 정보가 부족하기 때문에 유사한 관절 경로를 가진 동작들을 구분하는 것이다. 유사한 동작들을 구분하는 데는 특정 신체 부위의 미세한 운동 패턴이 핵심임을 인지하고, 본 연구는 국소적 스켈레톤 구성 요소의 세밀한 운동에 초점을 맞춘다. 이를 위해 우리는 전체 스켈레톤 시퀀스의 역학을 동작 단위의 핵심 운동 패턴을 나타내는 학습 가능한 프로토타입들의 조합으로 분해하는 그래프 컨볼루션 네트워크(GCN) 기반 모델인 ProtoGCN을 제안한다. 프로토타입의 재구성 과정을 비교함으로써, ProtoGCN은 유사한 동작의 구분력을 효과적으로 식별하고 강화할 수 있다. 복잡한 기법 없이도 ProtoGCN은 NTU RGB+D, NTU RGB+D 120, Kinetics-Skeleton, FineGYM 등 여러 벤치마크 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성하며, 제안된 방법의 효과성을 입증한다. 코드는 https://github.com/firework8/ProtoGCN 에서 공개되어 있다.