11일 전

구조적 정규화를 통한 신경망 추상적 문서 요약 성능 향상

{Xinyan Xiao, Yajuan Lyu, Wei Li, Yuanzhuo Wang}
구조적 정규화를 통한 신경망 추상적 문서 요약 성능 향상
초록

최근 신경망 시퀀스-투-시퀀스 모델들은 짧은 텍스트 요약 작업에서 큰 진전을 보였다. 그러나 문서 요약에서는 문서와 다문장 요약의 장기적 구조를 제대로 포착하지 못해 정보 손실과 반복 문제가 발생한다. 본 논문에서는 문서와 다문장 요약의 구조적 정보를 활용하여 문서 요약 성능을 향상시키는 방안을 제안한다. 구체적으로, 정보 압축과 정보 커버리지라는 두 가지 문서 요약에서 가장 중요한 구조적 특성을 반영하기 위해 요약 과정에 구조적 압축 정규화(structural-compression regularization)와 구조적 커버리지 정규화(structural-coverage regularization)를 도입한다. 실험 결과, 구조적 정규화가 문서 요약 성능을 크게 향상시킴을 입증하였으며, 이는 모델이 더 정보량이 풍부하고 간결한 요약을 생성하게 하여 기존 최첨단 신경망 추상적 요약 방법들보다 뚜렷이 우수한 성능을 발휘하게 한다.

구조적 정규화를 통한 신경망 추상적 문서 요약 성능 향상 | 최신 연구 논문 | HyperAI초신경