초록
백전파를 사용하여 훈련된 신경망은 종종 몇 번만 관찰된 클래스를 식별하는 데 어려움을 겪습니다. 대부분의 클래스 라벨이 드문 응용 분야, 예를 들어 언어 모델링에서 이는 성능 저하의 원인이 될 수 있습니다. 이러한 문제를 해결할 한 가지 잠재적인 방법은 최근 활성화와 클래스 라벨을 외부 메모리에 저장하는 빠른 학습 비모수 모델로 네트워크를 보강하는 것입니다. 우리는 모델 매개변수의 일부 집합을 빠른 메모리 저장소로 처리하는 단순화된 아키텍처를 탐구합니다. 이 방법은 전통적인 메모리보다 더 긴 시간 간격 동안 정보를 유지할 수 있으며, 추가적인 공간이나 계산 능력을 요구하지 않습니다. 이미지 분류의 경우, Omniglot 이미지 커리큘럼 작업에서 새로운 클래스의 더 빠른 결합을 보여줍니다. 또한 GigaWord(뉴스 보고서), Project Gutenberg(도서), WikiText-103(Wikipedia 기사)에서 단어 기반 언어 모델의 성능 개선을 입증하였으며, 후자의 경우 29.2의 최신 상태-아트 퍼플렉시티를 달성하였습니다.