초록
우리는 신경망 언어 모델의 예측을 최근 이력에 맞게 조정하기 위한 확장을 제안합니다. 우리의 모델은 과거의 은닉 활성화를 메모리로 저장하고 현재의 은닉 활성화와 내적을 통해 이를 접근하는 메모리 증강 네트워크의 단순화된 버전입니다. 이 메커니즘은 매우 효율적이며 매우 큰 메모리 크기에도 확장됩니다. 또한 우리는 신경망에서 외부 메모리를 사용하는 것과 카운트 기반 언어 모델에서 사용되는 캐시 모델 사이의 관련성을 살펴보았습니다. 여러 언어 모델 데이터셋을 통해 우리의 접근 방식이 최근의 메모리 증강 네트워크보다 상당히 우수한 성능을 보임을 입증하였습니다.