초록
언어 모델 사전 학습은 보편적인 언어 표현을 학습하는 데 유용함이 입증되었습니다. BERT (Bidirectional Encoder Representations from Transformers, 양방향 트랜스포머 인코더 표현)는 최신의 언어 모델 사전 학습 모델로서, 많은 언어 이해 작업에서 놀라운 결과를 달성하였습니다. 본 논문에서는 텍스트 분류 작업에 대한 BERT의 다양한 미세 조정(fine-tuning) 방법을 철저히 실험하고, BERT 미세 조정에 대한 일반적인 해결책을 제시합니다. 결국, 제안된 해결책은 널리 연구된 8개의 텍스트 분류 데이터셋에서 새로운 최고 수준의 결과를 얻었습니다.