
초록
우리는 문장 모델링을 위해 여러 개의 장단기 기억(LSTM) 층을 쌓는 방법을 제안합니다. 기존의 스택형 LSTM에서는 다음 층으로 전달되는 입력이 은닉 상태만인 반면, 제안된 아키텍처는 이전 층의 은닉 상태와 메모리 셀 상태를 모두 받아들여, LSTM의 소프트 게이팅 메커니즘을 사용하여 왼쪽과 하위 컨텍스트에서 정보를 융합합니다. 따라서 이 아키텍처는 수평적인 재귀뿐만 아니라 수직적 연결에서도 정보 전달량을 조절하며, 하위 층에서 추출된 유용한 특징들이 상위 층으로 효과적으로 전달됩니다. 우리는 이 아키텍처를 세포 인식 스택형 LSTM(CAS-LSTM)이라고 명명하고, 자연어 추론, 동의어 검출, 감성 분류, 기계 번역 벤치마크 데이터셋에서 표준 LSTM보다 성능 향상이 크게 이루어짐을 실험 결과로 보여줍니다. 또한 제안된 접근 방식의 내부 동작을 이해하기 위해 광범위한 정성적 분석도 수행했습니다.