행동-구조 그래프 컨볼루션 네트워크를 이용한 골격 기반 행동 인식

최근 컴퓨터 비전 분야에서 스켈레톤 데이터를 활용한 행동 인식이 많은 주목을 받고 있습니다. 이전 연구들은 대부분 고정된 스켈레톤 그래프에 기반하여 관절 간의 국소적인 물리적 의존성을만 포착하므로, 암시적인 관절 상관관계를 놓칠 수 있습니다. 더 풍부한 의존성을 포착하기 위해, 우리는 행동 특유의 잠재적 의존성, 즉 행동적 연결(actional links)을 직접 행동에서 추출할 수 있는 인코더-디코더 구조인 A-링크 추론 모듈(A-link inference module)을 소개합니다. 또한 기존의 스켈레톤 그래프를 확장하여 고차원 의존성, 즉 구조적 연결(structural links)을 표현하도록 합니다. 두 가지 유형의 연결을 일반화된 스켈레톤 그래프로 결합하고, 공간적 및 시간적 특징을 모두 학습하기 위해 기본 구성 요소로서 행동적-구조적 그래프 컨볼루션과 시간 컨볼루션을 쌓아서 행동-구조 그래프 컨볼루션 네트워크(AS-GCN)를 제안합니다. 미래 자세 예측 헤드는 인식 헤드와 병렬로 추가되어 자기 감독(self-supervision)을 통해 더 세부적인 행동 패턴을 포착하는 데 도움이 됩니다. 우리는 NTU-RGB+D와 Kinetics 두 개의 스켈레톤 데이터셋을 사용하여 AS-GCN의 행동 인식 성능을 검증했습니다. 제안된 AS-GCN은 최신 방법들과 비교해 일관되게 큰 개선 효과를 보였습니다. 부가적으로, AS-GCN은 미래 자세 예측에서도 유망한 결과를 보여주었습니다.