초록
우리는 영어 트윗을 위한 첫 번째 공개 대규모 사전 학습 언어 모델인 BERTweet를 제안한다. 본 연구에서 제안한 BERTweet는 Devlin 등(2019)이 제안한 BERT-base와 동일한 아키텍처를 가지며, Liu 등(2019)이 제안한 RoBERTa 사전 학습 절차를 사용하여 학습되었다. 실험 결과, BERTweet는 강력한 기준 모델인 RoBERTa-base 및 XLM-R-base(Conneau 등, 2020)를 상회하며, 품사 태깅, 명명된 엔티티 인식, 텍스트 분류 등 세 가지 트윗 NLP 작업에서 기존 최고 성능 모델보다 뛰어난 성능을 보였다. BERTweet는 향후 트윗 데이터에 대한 연구 및 응용을 촉진하기 위해 MIT 라이선스 하에 공개된다. BERTweet는 다음 링크에서 이용 가능하다: https://github.com/VinAIResearch/BERTweet