관계형 재귀 신경망

메모리 기반 신경망은 정보를 오랜 시간 동안 기억할 수 있는 능력을 활용하여 시계열 데이터를 모델링합니다. 그러나 이러한 메모리 기반 신경망이 기억한 정보로 복잡한 관계 추론을 수행할 수 있는지 여부는 명확하지 않습니다. 본 연구에서는 먼저 표준 메모리 구조가 실체 간의 연결 방식을 이해하는 데 중점을 두는 작업, 즉 관계 추론 작업에서 어려움을 겪을 수 있다는 직관을 확인합니다. 그런 다음, 메모리 간 상호작용을 가능하게 하는 다중 헤드 내적 주의력(multi-head dot product attention)을 사용하는 새로운 메모리 모듈인 \textit{관계 메모리 코어} (Relational Memory Core, RMC)를 통해 이러한 부족함을 개선합니다. 마지막으로, RMC를 순차적인 정보에서 더 효과적인 관계 추론이 필요한 다양한 작업에 적용하여 테스트하고, 강화학습(RL) 영역(예: 미니 팩맨), 프로그램 평가, 언어 모델링 등에서 큰 성능 향상을 보임을 입증합니다. 특히 WikiText-103, Project Gutenberg, GigaWord 데이터셋에서 최고 수준의 결과를 달성하였습니다.