EleAtt-RNN: 순환 신경망의 신경세포에 주의 집중성 추가하기

반복 신경망(RNN)은 복잡한 시계열 데이터의 시간적 의존성을 모델링할 수 있다. 일반적으로 현재 존재하는 RNN 구조들은 주로 현재 및 과거 정보의 기여도를 조절하는 데 초점을 맞추고 있다. 그러나 입력 벡터 내 각 요소의 중요도 수준을 다르게 다루는 탐색은 여전히 간과되고 있다. 본 연구에서는 RNN 블록(예: RNN 계층 내 모든 RNN 뉴런)에 간단하면서도 효과적으로 추가할 수 있는 원소별 주의 게이트(Element-wise-Attention Gate, EleAttG)를 제안한다. 이 EleAttG는 RNN 뉴런이 주의 능력을 갖도록 강화함으로써, 입력 데이터의 각 요소(차원)에 대해 적응적으로 서로 다른 중요도(즉, 주의)를 할당함으로써 입력을 조절한다. EleAttG를 탑재한 RNN 블록을 EleAtt-RNN 블록이라 한다. EleAttG는 입력을 전반적으로 조절하는 것이 아니라, 세밀한 수준에서 즉, 원소별로(content-adaptive) 조절함으로써 더 정교한 조절이 가능하다. 제안된 EleAttG는 추가적인 기본 단위로서 일반성과 유연성을 갖추고 있어, 표준 RNN, 장단기 기억망(LSTM), 게이트형 반복 단위(GRU) 등 다양한 RNN 구조에 적용 가능하다. 다양한 작업, 즉 골격 기반 데이터와 RGB 영상에서의 동작 인식, 제스처 인식, 시계열 MNIST 분류에 대해 EleAtt-RNN을 적용하여 그 효과를 검증하였다. 실험 결과, RNN 블록에 EleAttG를 통해 주의 메커니즘을 도입함으로써 RNN의 표현 능력이 크게 향상됨을 확인하였다.