세계 상태를 추적하는 반복 엔티티 네트워크

우리는 새로운 모델인 순환 엔티티 네트워크(Recurrent Entity Network, EntNet)를 소개합니다. 이 모델은 동적인 장기 메모리를 갖추고 있어 새로운 데이터를 받으면서 세계의 상태를 유지하고 업데이트할 수 있습니다. 언어 이해 작업에서는 질문에 답하거나 응답이 요구될 때뿐만 아니라 텍스트를 읽는 동안 실시간으로 추론할 수 있습니다(메모리 네트워크(Sukhbaatar et al., 2015)와는 달리). 신경 튜링 머신이나 차별화 가능한 신경 컴퓨터(Neural Turing Machine, Differentiable Neural Computer; Graves et al., 2014; 2016)와 마찬가지로 고정된 크기의 메모리를 유지하며 위치 기반 및 내용 기반의 읽기와 쓰기 연산을 학습할 수 있습니다. 그러나 이러한 모델들과는 달리 EntNet은 여러 메모리 위치를 동시에 업데이트할 수 있는 간단한 병렬 아키텍처를 가지고 있습니다.EntNet은 bAbI 작업에서 새로운 최고 성능을 달성했으며, 10,000개의 훈련 예제 설정에서 모든 작업을 해결한 첫 번째 방법입니다. 또한 많은 지원 사실이 필요한 추론 작업을 다른 방법들이 해결하지 못하는 반면, EntNet은 이를 해결할 수 있으며 훈련 범위를 초과하여 일반화할 수 있음을 보여주었습니다. 대규모 데이터셋인 어린이 책 테스트(Children's Book Test)에서도 단일 패스로 이야기를 읽으면서 경쟁력 있는 성능을 보이는 등 실제로 활용 가능함을 입증했습니다.