의미론 지도 신경망을 활용한 효율적인 골격 기반 인간 행동 인식

스켈레톤 기반 인간 행동 인식은 인간 스켈레톤 데이터의 접근 용이성 덕분에 큰 관심을 받고 있습니다. 최근에는 계산 효율성을 고려하지 않고 관절의 3D 좌표를 모델링하기 위해 매우 깊은 순방향 신경망을 사용하는 경향이 있습니다. 본 논문에서는 단순하면서도 효과적인 의미론 지도 신경망(Semantics-Guided Neural Network, SGN)을 제안하여 스켈레톤 기반 행동 인식을 수행합니다. 우리는 관절의 고차원적 의미(관절 유형 및 프레임 인덱스)를 명시적으로 네트워크에 도입하여 특징 표현 능력을 향상시키고자 합니다. 또한, 두 개의 모듈을 통해 관절 간의 관계를 계층적으로 활용합니다. 즉, 동일한 프레임 내에서 관절 간 상관관계를 모델링하는 관절 수준 모듈과 동일한 프레임 내의 관절들을 전체로 취급하여 프레임 간 의존성을 모델링하는 프레임 수준 모듈입니다. 이 분야 연구를 지원하기 위해 강력한 베이스라인을 제안합니다. 대부분의 이전 연구보다 한 자릿수 작게 모델 크기를 유지하면서 SGN은 NTU60, NTU120, 그리고 SYSU 데이터셋에서 최신 성능을 달성하였습니다. 소스 코드는 https://github.com/microsoft/SGN에서 제공됩니다.