스파시파이드 그래프 회귀를 통한 최적화된 스켈레톤 기반 행동 인식

접근 가능한 깊이 센서의 보급으로 인해, 동적인 인간 신체 스켈레톤은 행동 인식을 위한 견고한 모달리티로 많은 관심을 받고 있습니다. 이전 방법들은 RNN(재귀 신경망) 또는 CNN(합성곱 신경망) 기반으로 스켈레톤을 모델링하였으나, 비정규적인 스켈레톤 관절에 대한 표현력이 제한적이었습니다. 그래프 합성곱 네트워크(GCN)는 비정규 그래프 구조 데이터를 처리하기 위해 제안되었지만, 기본적인 그래프 구성은 여전히 어려움을 겪고 있습니다. 본 논문에서는 스켈레톤을 자연스럽게 그래프 위에 표현하고, 공간-시간 변동성을 포착하기 위해 그래프 회귀 기반 GCN(GR-GCN)을 제안합니다.그래프 표현이 그래프 합성곱에 매우 중요하므로, 우리는 먼저 여러 관찰에서 통계적으로 기본 그래프를 학습하는 그래프 회귀를 제안합니다. 특히, 우리는 연속 프레임 간의 그래프 구조에서 스켈레톤의 공간-시간 모델링을 제공하며, 이는 효율적인 표현을 위해 기본 그래프의 희소성을 강제합니다. 최적화된 그래프는 각 관절이 같은 프레임 내의 인접 관절과 강하게 또는 약하게 연결되며, 또한 이전 및 다음 프레임의 관련 관절과도 연결됩니다.그런 다음, 최적화된 그래프와 스켈레톤 시퀀스의 좌표를 특징 학습을 위해 GCN에 입력합니다. 여기서 우리는 고차원 및 빠른 체비셰브 스펙트럼 근사법을 사용하여 특징 학습을 수행합니다. 또한, 체비셰브 근사법에 의한 변동성 특성화 분석을 제공합니다. 실험 결과는 제안된 그래프 회귀의 유효성을 검증하며, 널리 사용되는 NTU RGB+D, UT-Kinect 및 SYSU 3D 데이터셋에서 제안된 GR-GCN이 최신 성능을 달성함을 보여줍니다.