초록
이전까지 외부 메모리를 갖춘 신경망은 메모리 상호작용의 손실적 표현을 가진 단일 메모리에 국한되어 왔다. 메모리 요소들 간의 관계를 풍부하게 표현하기 위해서는 고차원적이고 분리된 관계형 메모리가 필요하다. 본 논문에서는 개별 경험(아이템 메모리)의 저장과 그 발생하는 관계(관계형 메모리)의 저장을 분리하는 새로운 접근을 제안한다. 이 아이디어는 새로운 자기주의적 연상 메모리(Self-attentive Associative Memory, SAM) 연산자로 구현된다. SAM은 외적 곱(outer product)에 기반하여 임의의 메모리 요소 쌍 간의 가상의 고차원 관계를 표현하는 연상 메모리 집합을 형성하며, 이를 통해 아이템 메모리로부터 관계형 메모리를 구성한다. 두 메모리는 순차적 모델 내에서 통합되어 기억 저장과 관계 추론 모두를 수행할 수 있는 단일 구조로 연결된다. 제안하는 이중 메모리 모델은 기하학, 그래프, 강화학습, 질의응답 등 다양한 기계학습 과제—어려운 합성 문제부터 실용적 테스트베드까지—에서 경쟁력 있는 성능을 달성하였다.