스켈레톤 기반 동작 인식을 위한 시프트 그래프 컨볼루션 네트워크

스켈레톤 데이터를 활용한 행동 인식은 컴퓨터 비전 분야에서 점점 더 많은 주목을 받고 있다. 최근에는 인간의 신체 스켈레톤을 시공간 그래프로 모델링하는 그래프 컨볼루션 네트워크(GCN)가 뛰어난 성능을 보이고 있다. 그러나 GCN 기반의 방법들은 계산 복잡도가 매우 높아, 하나의 행동 샘플에 대해 일반적으로 15 GFLOPs 이상의 연산량을 필요로 하며, 일부 최신 연구에서는 약 100 GFLOPs에 이를 정도로 높아지고 있다. 또한 공간 그래프와 시간 그래프의 수용 영역(receptive field)이 유연하지 못하다는 또 다른 단점도 존재한다. 일부 연구에서는 증분적 적응 모듈을 도입하여 공간 그래프의 표현력을 향상시키고자 했지만, 여전히 정규 GCN 구조의 한계로 인해 성능이 제한된다. 본 논문에서는 이러한 두 가지 단점을 극복하기 위해 새로운 시프트 그래프 컨볼루션 네트워크(Shift-GCN)를 제안한다. 무거운 정규 그래프 컨볼루션 대신, 본 Shift-GCN은 새로운 시프트 그래프 연산과 경량의 포인트와이즈 컨볼루션으로 구성되어 있으며, 시프트 그래프 연산을 통해 공간 그래프와 시간 그래프 모두에 유연한 수용 영역을 제공한다. 스텝 기반 행동 인식을 위한 세 가지 데이터셋에서 제안한 Shift-GCN은 기존 최고 성능 기법들을 뛰어넘으며, 계산 복잡도를 10배 이상 줄여가면서도 뛰어난 성능을 달성하였다.