2달 전

텍스트 일관성 평가를 위한 Transformer 모델

Tushar Abhishek; Daksh Rawat; Manish Gupta; Vasudeva Varma
텍스트 일관성 평가를 위한 Transformer 모델
초록

일관성은 텍스트의 질을 평가하는 중요한 요소로, 텍스트의 가독성을 보장하는 데 필수적입니다. 요약, 질문 응답, 기계 번역, 질문 생성, 표-텍스트 변환 등과 같은 텍스트 생성 시스템의 출력에서 일관성이 매우 중요합니다. 자동 일관성 점수 모델은 또한 에세이 평가나 글쓰기 피드백 제공에 유용합니다. 이전 연구에서는 엔티티 기반 방법, 구문 패턴, 담화 관계 등을 활용하였으며, 최근에는 전통적인 딥러닝 아키텍처를 사용하여 텍스트 일관성을 평가하였습니다. 그러나 이전 연구는 장거리 의존성 처리, 사전에 없는 단어(out-of-vocabulary words) 처리, 또는 시퀀스 정보 모델링 등의 한계점을 가지고 있습니다. 우리는 일관성 평가가 인지적으로 복잡한 작업으로서 더 깊은 모델이 필요하며, 관련 작업들로부터 혜택을 받을 수 있다고 가정합니다. 따라서 본 논문에서는 네 가지 다른 트랜스포머 기반 아키텍처를 제안합니다: 기본 트랜스포머(vanilla Transformer), 계층적 트랜스포머(hierarchical Transformer), 다중 태스크 학습 기반 모델(multi-task learning-based model), 그리고 사실 기반 입력 표현(fact-based input representation)을 사용한 모델입니다. 다양한 분야의 인기 벤치마크 데이터셋을 사용한 네 가지 다른 일관성 평가 작업 실험 결과, 제안된 모델들이 기존 모델들을 크게 능가하며 최신 성능을 달성함을 확인할 수 있었습니다.