고차원 구문 주의 메커니즘 네트워크를 통한 긴 문장 압축

LSTM를 사용한 문장 압축 기법은 자연스럽고 유창한 압축 문장을 생성할 수 있다. 그러나 이 방법은 문장 구조적 특징을 명시적으로 처리하지 못하기 때문에, 더 긴 문장을 압축할 경우 성능이 크게 저하된다. 이 문제를 해결하기 위해, LSTM의 은닉 상태 위에 고차원 종속성 특징을 주의 분포(attention distribution)로 처리할 수 있는 고차 구문적 주의 네트워크(HiSAN, Higher-order Syntactic Attention Network)를 제안한다. 또한 잘못된 파싱 결과의 영향을 피하기 위해, HiSAN을 정확한 출력과 주의 분포의 동시 확률을 최대화하는 방식으로 학습시켰다. Google 문장 압축 데이터셋에서의 실험 결과, 본 방법은 F1 및 ROUGE-1, 2, L 점수에서 각각 83.2, 82.9, 75.8, 82.7로 최고의 성능을 달성하였다. 사용자 평가에서도 본 방법은 가독성과 정보량 측면에서 기준 방법들을 모두 상회하였다.