초록
골격 데이터에 대한 그래프 기반 추론은 인간 행동 인식 분야에서 주목할 만한 접근 방식으로 부상하고 있다. 그러나 기존의 그래프 기반 방법들은 주로 전체 시간 시퀀스를 입력으로 사용하기 때문에, 온라인 추론 환경에 적용할 경우 상당한 계산 중복이 발생한다. 본 논문에서는 이러한 문제를 해결하기 위해 시공간 그래프 컨볼루션 신경망(Spatio-Temporal Graph Convolutional Neural Network)을 지속적 추론 네트워크(Continual Inference Network)로 재정의함으로써, 반복적인 프레임 처리 없이 시간에 따라 단계적으로 예측을 수행할 수 있도록 한다. 제안한 방법의 성능을 평가하기 위해, ST-GCN의 지속적 버전인 CoST-GCN을 개발하였으며, 서로 다른 자기주의(self-attention) 메커니즘을 적용한 두 가지 유도된 방법인 CoAGCN과 CoS-TR도 제안한다. 또한 추론 가속을 위한 가중치 전이 전략과 아키텍처적 수정 방안을 탐구하고, NTU RGB+D 60, NTU RGB+D 120, 그리고 Kinetics Skeleton 400 데이터셋에서 실험을 수행하였다. 유사한 예측 정확도를 유지하면서도, 시간 복잡도는 최대 109배 감소하고, 하드웨어 기반 가속은 최대 26배 향상되며, 온라인 추론 시 최대 할당 메모리도 52% 감소하는 효과를 확인하였다.