Fusion-GCN: 그래프 컨볼루션 네트워크를 이용한 다중 모달 행동 인식

본 논문에서는 Graph Convolutional Networks(GCNs)을 활용한 다중 모달 행동 인식 방법인 Fusion-GCN을 제시합니다. 최근 GCN 기반의 행동 인식 방법들은 스켈레톤 기반 행동 인식에서 최고 수준의 성능을 보여주었습니다. Fusion-GCN에서는 다양한 센서 데이터 모달들을 하나의 그래프에 통합하여, 이 그래프를 GCN 모델로 훈련시켜 다중 모달 행동 인식을 수행하는 방안을 제안합니다. 추가적인 센서 측정치는 그래프 표현에 채널 차원(추가 노드 속성 도입) 또는 공간 차원(새 노드 도입)으로 통합됩니다. Fusion-GCN은 UTD-MHAD와 MMACT 두 개의 공개 데이터셋에서 평가되었으며, RGB 시퀀스, 관성 측정치 및 스켈레톤 시퀀스를 유연하게 융합하는 능력을 입증하였습니다. 본 접근법은 UTD-MHAD 데이터셋에서 유사한 결과를 얻었으며, 대규모 MMACT 데이터셋에서는 스켈레톤 추정치와 가속도계 측정치를 융합함으로써 기존 베이스라인보다 F1-측도로 최대 12.37% 향상된 성능을 보였습니다.