초록
메모리 강화 신경망은 신경 컨트롤러와 외부 메모리를 포함하며, 장기 시퀀스 학습에서 잠재력을 보여주고 있습니다. 현재 RAM 유사 메모리 모델들은 모든 시간 단계에서 메모리 접근을 유지하므로, 컨트롤러에 저장된 단기 메모리를 효과적으로 활용하지 못하고 있습니다. 우리는 이 쓰기 방식이 메모리 활용 면에서 비효율적이며 불필요한 계산을 초래한다고 가정합니다. 이 가정을 검증하기 위해, RAM 유사 시스템에 저장된 정보의 양에 대한 이론적 한계를 도출하고, 이 한계를 최대화하는 최적화 문제를 수립하였습니다. 제안된 해결책인 '균일 쓰기(Uniform Writing)'는 각 시간 단계의 기여도가 동일하다는 가정 하에서 최적임이 증명되었습니다. 이러한 가정을 완화하기 위해, 원래 해결책에 수정을 가하여 '캐시 균일 쓰기(Cached Uniform Writing)'라는 방법을 제안하였습니다. 이 방법은 과도한 덮어쓰기를 통해 기억과 잊음 사이의 균형을 맞추는 것을 목표로 합니다. 광범위한 실험을 통해, 우리의 해결책이 다른 순환 구조보다 우수함을 실증적으로 입증하였으며, 다양한 시퀀스 모델링 작업에서 최신 기술(SOTA) 수준의 성능을 달성하였음을 주장합니다.