초록
인간은 새로운 맥락에서 문제를 해결하기 위해 자극 간의 관계를 빠르게 연결할 수 있다. 본 연구에서는 이러한 연상 추론을 수행할 수 있도록 사실의 상태 표현을 학습하는 새로운 신경망 모델을 제안한다. 이를 위해 LSTM 모델에 빠르게 변화하는 가중치를 가진 연상 기억장인 '패스트 웨이트 메모리(Fast Weight Memory, FWM)'를 보완하였다. 주어진 입력 시퀀스의 각 단계에서 미분 가능한 연산을 통해 LSTM은 FWM의 가중치에 저장된 구성적 연상 관계를 지속적으로 업데이트하고 유지한다. 본 모델은 경사 하강법을 통해 엔드 투 엔드로 학습되며, 구성적 언어 추론 문제, POMDPs에 대한 메타 강화학습, 소규모 단어 수준 언어 모델링에서 뛰어난 성능을 보였다.