스켈레톤 기반 동작 인식을 위한 그래프 대비 학습

스켈레톤 기반 동작 인식 분야에서 현재 최고 성능을 기록하는 그래프 컨볼루션 네트워크(GCN)들은 내부 시퀀스 내의 맥락을 활용하여 특징 집약을 위한 적응형 그래프를 구성한다. 그러나 우리는 이러한 맥락이 여전히 \textit{국소적}이라는 점을 주장한다. 왜냐하면 풍부한 크로스-시퀀스 관계가 명시적으로 탐구되지 않았기 때문이다. 본 논문에서는 모든 시퀀스 간의 \textit{전역적} 맥락을 탐색하기 위한 그래프 대조 학습 프레임워크(SkeletonGCL)를 제안한다. 구체적으로, SkeletonGCL은 그래프가 클래스 구별 가능하도록 강제함으로써 시퀀스 간 그래프 학습을 연결한다. 즉, 내부 클래스 간은 밀집하고, 외부 클래스 간은 분산되도록 하여 GCN이 다양한 동작 패턴을 구분하는 능력을 향상시킨다. 또한, 인스턴스 수준과 의미 수준이라는 두 가지 보완적인 차원에서 크로스-시퀀스 맥락을 풍부하게 하기 위해 두 개의 메모리 백을 설계하였으며, 이는 다중 맥락 스케일에서 그래프 대조 학습을 가능하게 한다. 결과적으로 SkeletonGCL은 새로운 학습 패러다임을 구축하였으며, 기존 GCN에 원활하게 통합될 수 있다. 일반성을 잃지 않고, SkeletonGCL을 세 가지 GCN(2S-ACGN, CTR-GCN, InfoGCN)과 결합하여 NTU60, NTU120, NW-UCLA 벤치마크에서 일관된 성능 향상을 달성하였다. 소스 코드는 \url{https://github.com/OliverHxh/SkeletonGCL}에서 제공될 예정이다.