무시하기를 배우기: 제한된 메모리 신경망을 이용한 장문 문서 내 핵심 참조

긴 문서 내 공통 지칭 해결은 현재 모델들이 요구하는 큰 메모리와 실행 시간이 문제로 여겨져 여전히 도전적인 과제이다. 최근 연구에서는 엔티티의 전역 표현만을 사용해 점진적인 공통 지칭 해결을 수행하는 방식이 실용적인 이점을 보였지만, 이는 모든 엔티티를 메모리에 지속적으로 유지해야 한다는 단점이 있다. 이는 긴 문서 처리에 있어서 실제 적용이 어려울 수 있다. 우리는 모든 엔티티를 메모리에 보관하는 것이 필수적이지 않다고 주장하며, 단일 시점에서 고정된 작은 수의 엔티티만을 추적하는 메모리 증강 신경망을 제안한다. 이를 통해 문서 길이에 대해 선형적인 실행 시간을 보장할 수 있다. 본 연구에서는 (a) OntoNotes 및 LitBank 데이터셋에서 메모리와 계산 자원 소모가 큰 기존 모델들과 경쟁 가능한 성능을 유지함을 보이고, (b) 제안 모델이 규칙 기반 전략을 쉽게 능가하는 효율적인 메모리 관리 전략을 자동으로 학습함을 확인하였다.