12일 전

문장 압축을 위한 언어 모델 기반 평가자

{Akiko Aizawa, Zhiyuan Luo, Yang Zhao}
문장 압축을 위한 언어 모델 기반 평가자
초록

본 연구에서는 삭제 기반 문장 압축을 위한 언어모델 기반 평가자(evaluator)를 제안하며, 이 작업을 평가자를 활용한 일련의 삭제 및 평가 연산으로 간주한다. 구체적으로, 평가자는 단어 간 구문적 및 구조적 연어(collocation) 관계를 학습함으로써 사전에 구축된 구문적 신경망 언어모델이다. 이후 강화학습 프레임워크를 통해 원본 문장에 대해 일련의 시도-오류 기반 삭제 연산을 수행하여 최적의 압축 문장을 도출한다. 실증적 연구 결과, 제안하는 모델이 여러 강력한 기준 모델들과 비교해도 우수하거나 유사한 수준의 가독성이 높은 압축 문장을 효과적으로 생성함을 확인하였다. 더불어, 대규모 데이터셋을 위한 200문장 규모의 테스트 세트를 제안하여 향후 연구를 위한 새로운 기준을 제시하였다.

문장 압축을 위한 언어 모델 기반 평가자 | 최신 연구 논문 | HyperAI초신경