동적 뉴럴 튜링 머신의 소프트 및 하드 주소 지정 방식

우리는 학습 가능한 메모리 주소 지정 방식을 도입하여 뉴럴 튜링 머신(NTM) 모델을 동적 뉴럴 튜링 머신(D-NTM)으로 확장했습니다. 이 주소 지정 방식은 각 메모리 셀에 대해 내용 벡터와 주소 벡터라는 두 개의 별도 벡터를 유지합니다. 이를 통해 D-NTM은 선형과 비선형을 포함한 다양한 위치 기반 주소 지정 전략을 학습할 수 있습니다. 우리는 연속적이며 미분 가능한 읽기/쓰기 메커니즘과 이산적이며 비미분 가능한 읽기/쓰기 메커니즘을 모두 사용하여 D-NTM을 구현했습니다. 피드포워드 컨트롤러와 GRU 컨트롤러를 사용하여 Facebook bAbI 작업에서 읽기와 쓰기를 위한 학습 메커니즘과 효과를 실험적으로 조사하였습니다. D-NTM은 Facebook bAbI 작업 세트에서 평가되어 NTM 및 LSTM 베이스라인보다 우수한 성능을 보였습니다. 우리는 모델과 bAbI 작업에 대한 NTM의 다양한 변형에 대해 광범위한 분석을 수행했습니다. 또한 순차적인 pMNIST, 스탠퍼드 자연어 추론, 연관 재생 및 복사 작업에 대한 추가 실험 결과를 제공합니다.