BARTpho: 베트남어를 위한 사전 훈련된 시퀀스-투-시퀀스 모델

우리는 베트남어를 위한 첫 번째 공개 대규모 단일 언어 시퀀스-투-시퀀스 모델인 BARTpho의 두 가지 버전, BARTpho-syllable과 BARTpho-word를 소개합니다. BARTpho는 시퀀스-투-시퀀스 노이즈 제거 오토인코더(BART)의 "대형" 아키텍처와 사전 학습 방식을 사용하므로, 생성적 자연어 처리(NLP) 작업에 특히 적합합니다. 우리는 베트남어 텍스트 요약이라는 하위 작업에서 우리의 BARTpho와 경쟁 모델인 mBART를 비교하는 실험을 수행하였으며, 자동 평가와 인간 평가 모두에서 BARTpho가 강력한 기준 모델인 mBART를 능가하고 최신 기술 수준을 개선함을 보여주었습니다. 또한, 베트남어 대문자화 및 구두점 복원 작업에서도 BARTpho와 mBART를 평가 및 비교한 결과, 이 두 작업에서 BARTpho가 mBART보다 더 효과적임을 확인하였습니다. 우리는 이러한 결과를 바탕으로 미래의 생성적 베트남어 NLP 작업 연구 및 응용을 촉진하기 위해 BARTpho를 공개적으로 배포합니다. 우리의 BARTpho 모델은 https://github.com/VinAIResearch/BARTpho 에서 이용 가능합니다.