다이나믹 GCN: 스텐실 기반 동작 인식을 위한 맥락 풍부화된 토폴로지 학습

스켈레톤 기반 동작 인식(task)에 있어 그래프 컨볼루션 네트워크(GCNs)는 점차 증가하는 관심을 받고 있다. 이들의 핵심은 스켈레톤의 위상 구조(topology) 정보를 인코딩하는 그래프 구조 설계에 있다. 본 논문에서는 새로운 컨볼루션 신경망인 컨텍스트 인코딩 네트워크(Context-encoding Network, CeN)를 도입하여 스켈레톤 위상 구조를 자동으로 학습하는 동적 GCN(Dynamic GCN)을 제안한다. 특히, 두 관절 간의 의존성(dependency)을 학습할 때, 나머지 관절들로부터 얻은 컨텍스트 특징을 전역적으로 통합한다. CeN은 매우 가볍지만 효과적이며, 그래프 컨볼루션 레이어에 쉽게 통합될 수 있다. 여러 개의 CeN을 갖춘 그래프 컨볼루션 레이어를 쌓아 Dynamic GCN을 구축한다. 특히 CeN의 장점으로, 입력 샘플에 따라 다르게, 또한 다양한 깊이의 그래프 컨볼루션 레이어에 따라 동적으로 그래프 위상 구조가 구성된다. 더불어, 세 가지의 대체적 컨텍스트 모델링 아키텍처를 철저히 탐구하였으며, 이는 향후 그래프 위상 구조 학습 연구에 대한 지침이 될 수 있다. CeN은 기준 모델에 약 7%의 추가 FLOPs만을 요구하며, Dynamic GCN은 기존 방법 대비 2배에서 4배까지 적은 FLOPs로 더 뛰어난 성능을 달성한다. 또한 정적 신체 연결 구조와 운동 모달리티(motion modalities)를 결합함으로써, NTU-RGB+D, NTU-RGB+D 120, Skeleton-Kinetics 세 가지 대규모 벤치마크에서 최고 수준의 성능을 달성하였다.