스켈레톤 기반 제스처 인식을 위한 시간 분리 그래프 컨볼루션 네트워크

스켈레톤 기반 제스처 인식 방법은 그래프 컨볼루션 네트워크(GCN)를 활용하여 높은 성공률을 달성해 왔으며, 일반적으로 스켈레톤의 공간적 구조를 모델링하기 위해 인접 행렬(Adjacency Matrix)을 사용한다. 그러나 기존의 방법들은 서로 다른 프레임에서 나온 스켈레톤에 대해 동일한 인접 행렬을 사용하기 때문에, GCN이 시간 정보를 모델링하는 데 유연성이 제한된다. 이 문제를 해결하기 위해 우리는 서로 다른 프레임의 스켈레톤에 대해 각각 다른 인접 행렬을 적용하는 시간 분리형 그래프 컨볼루션 네트워크(Temporal Decoupling Graph Convolutional Network, TD-GCN)를 제안한다. 본 연구에서 제안하는 TD-GCN의 각 컨볼루션 계층의 주요 단계는 다음과 같다. 먼저, 스켈레톤 관절에서 깊은 공간-시간 정보를 추출하기 위해 고차원의 공간-시간 특징을 추출한다. 그 후, 각 채널과 프레임에 따라 달라지는 채널 의존적 및 시간 의존적 인접 행렬을 계산하여 스켈레톤 관절 간의 공간-시간적 종속성을 포착한다. 마지막으로, 이웃하는 스켈레톤 관절의 구조 정보를 융합하기 위해 채널 의존적 및 시간 의존적 인접 행렬을 기반으로 스켈레톤 관절의 공간-시간 특징을 융합한다. 본 연구를 통해, 시간에 민감한 스켈레톤 관절 간의 구조적 관계 학습을 위해 시간 의존적 인접 행렬을 사용한 것은 최초의 시도로, 우리에게 가장 넓은 지식 범위 내에서 알려져 있다. 제안된 TD-GCN은 GCN의 모델링 능력을 효과적으로 향상시켜 SHREC'17 Track 및 DHG-14/28을 포함한 다양한 제스처 데이터셋에서 최신 기준(SOTA) 성능을 달성하였다. 본 연구의 코드는 다음 링크에서 공개되어 있다: https://github.com/liujf69/TD-GCN-Gesture.