스파스 리드와 라이트를 이용한 메모리 증강 신경망의 확장

외부 메모리를 활용한 신경망은 복잡한 작업에 대한 알고리즘적 해결책을 학습할 수 있는 능력을 가지고 있습니다. 이러한 모델은 언어 모델링 및 기계 번역과 같은 응용 분야에서 유망하게 보입니다. 그러나 메모리의 양이 증가함에 따라 공간과 시간 측면에서 확장성이 떨어지기 때문에 실제 세계 도메인으로의 적용이 제한됩니다. 본 연구에서는 원래 접근 방식의 표현력은 유지하면서 매우 큰 메모리에서도 효율적으로 학습할 수 있는 엔드투엔드 미분 가능한 메모리 접근 방안인 희소 접근 메모리(Sparse Access Memory, SAM)를 제시합니다. SAM이 공간 및 시간 복잡도에서 점근적 하위 경계를 달성한다는 것을 보여주며, 비희소 모델보다 1,000배 더 빠르고 물리적인 메모리 사용량이 3,000배 적다는 것을 확인하였습니다. SAM은 다양한 합성 작업 및 단발 Omniglot 문자 인식에서 기존 모델과 비교하여 유사한 데이터 효율성을 가진 채로 학습하며, 10만 단계 이상의 시간 스텝과 메모리를 필요로 하는 작업까지 확장할 수 있습니다. 또한 최근에 소개된 차별화 가능한 신경 컴퓨터(Differentiable Neural Computer)와 같이 메모리 간의 시차 연관성을 유지하는 모델에 우리의 접근 방안을 어떻게 적용할 수 있는지를 설명합니다.