스켈레톤 기반 동작 인식을 위한 다중 균질 공간-시간 그래프 네트워크 학습

스켈레톤 기반 동작 인식은 인간 중심의 장면 이해 분야에서 인간 운동의 다중 규모성과 큰 변동성을 고려할 때 여전히 핵심적인 과제로 남아 있다. 기존의 접근 방식들은 다양한 운동 패턴에 대해 단일 신경망 표현을 사용하는 경우가 많아, 제한된 학습 데이터 상황에서 세부적인 동작 클래스를 효과적으로 포착하기 어려운 문제가 있다. 이러한 문제를 해결하기 위해 본 연구에서는 스켈레톤 기반 동작 분류를 위한 새로운 다중 규모(spatio-temporal) 그래프 네트워크를 제안한다. 이 네트워크는 거시적 및 미시적 스켈레톤 운동 패턴을 동시에 모델링함으로써 보다 정교한 동작 인식을 가능하게 한다. 이를 위해 두 가지 상호 교차되는 브랜치로 구성된 이중 헤드(graph) 네트워크를 설계하였으며, 이는 효율적이고 효과적인 방식으로 두 가지 시간-공간 해상도에서 특징을 추출할 수 있도록 한다. 또한, 두 헤드 간의 상호 보완적인 정보 교환을 위한 크로스 헤드 통신 전략을 도입하여 각 헤드의 표현력을 동시에 강화한다. 제안한 방법은 NTU RGB+D 60, NTU RGB+D 120, Kinetics-Skeleton 세 가지 대규모 데이터셋에서 광범위한 실험을 수행하였으며, 모든 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성함으로써 제안 방법의 효과성을 입증하였다.