정렬된 뉴런: 순환 신경망에 트리 구조 통합하기

자연어는 계층적으로 구조화되어 있습니다: 작은 단위(예를 들어, 구)가 더 큰 단위(예를 들어, 절) 내에 중첩됩니다. 더 큰 구성 요소가 종료되면, 그 안에 중첩된 모든 작은 구성 요소도 닫혀야 합니다. 표준 LSTM 아키텍처는 다른 뉴런이 서로 다른 시간 척도에서 정보를 추적할 수 있도록 허용하지만, 구성 요소의 계층을 모델링하는 데 대한 명시적인 편향은 없습니다. 본 논문에서는 뉴런을 순서대로 배열하여 이러한 귀납적 편향을 추가하는 방법을 제안합니다. 마스터 입력 및 망각 게이트의 벡터는 특정 뉴런이 업데이트될 때, 그 뉴런 이후에 위치한 모든 뉴론도 함께 업데이트되도록 보장합니다. 우리의 새로운 순환 아키텍처인 순서형 뉴런 LSTM (Ordered Neurons LSTM, ON-LSTM)은 언어 모델링, 비지도 해석, 대상 문법 평가, 논리적 추론 등 네 가지 다른 과제에서 우수한 성능을 보입니다.