BART-IT: 이탈리아어 텍스트 요약을 위한 효율적인 시퀀스-투-시퀀스 모델

주의 기반 아키텍처의 등장은 텍스트 요약을 위한 신경망 시퀀스-투-시퀀스 모델의 성능에 큰 향상을 가져왔다. 이러한 모델들은 영어로 작성된 문서 요약에 효과적임이 입증되었지만, 다른 언어로의 적용 가능성은 제한적이며 여전히 개선할 여지가 많다. 본 논문에서는 이탈리아어에 특화된 BART-IT라는 시퀀스-투-시퀀스 모델을 제안한다. 이 모델은 BART 아키텍처를 기반으로 하며, 이탈리아어 고유의 언어 특징을 학습하기 위해 방대한 이탈리아어 텍스트 코퍼스로 사전 훈련된 후, 추상적 요약을 위한 여러 벤치마크 데이터셋에서 미세 조정되었다. 실험 결과, 파라미터 수가 상당히 적음에도 불구하고 BART-IT는 ROUGE 점수 측면에서 다른 최신 모델들을 모두 능가함을 확인하였다. BART-IT의 활용은 이탈리아어를 대상으로 한 흥미로운 자연어 처리(NLP) 응용 프로그램의 개발을 촉진할 수 있다. 연구 공동체에 모델을 공개함으로써 추가적인 연구와 응용을 장려하는 동시에, 추상적 요약 모델 사용과 관련된 윤리적 측면에 대해서도 논의한다.