Structural-RNN: Spatio-Temporal Graphs에서의 Deep Learning

깊은 순환 신경망(Deep Recurrent Neural Network) 구조는 시퀀스를 모델링하는 데 매우 효과적이지만, 직관적인 고차원 시공간 구조를 갖추지 못하고 있습니다. 컴퓨터 비전 분야의 많은 문제들은 본질적으로 이러한 고차원 구조를 가지고 있으며, 이를 활용함으로써 이점을 얻을 수 있습니다. 시공간 그래프(Spatio-temporal graphs)는 실제 문제를 정식화하는 과정에서 이러한 고차원 직관을 부여하는 데 널리 사용되는 도구입니다. 본 논문에서는 고차원 시공간 그래프의 힘과 순환 신경망(RNNs)의 시퀀스 학습 성공을 결합하는 접근법을 제안합니다. 우리는 임의의 시공간 그래프를 전방향(feedforward), 완전 미분(fully differentiable), 그리고 공동 학습(jointly trainable)이 가능한 풍부한 RNN 혼합체로 변환할 수 있는 확장 가능한 방법을 개발하였습니다. 제안된 방법은 일반적이고 원칙에 입각한 것으로, 잘 정의된 일련의 단계를 통해 어떤 시공간 그래프도 변환할 수 있습니다. 제안된 접근법은 인간 동작 모델링부터 객체 상호작용까지 다양한 문제에 대한 평가에서 기존 최신 기술(state-of-the-art)보다 크게 향상된 결과를 보였습니다. 우리는 이 방법이 고차원 시공간 그래프와 순환 신경망을 활용한 새로운 문제 정식화 방식을 가능하게 할 것으로 기대합니다.