초록
귀납적 전이 학습은 컴퓨터 비전에 큰 영향을 미쳤지만, 현재의 자연어 처리(NLP) 접근법들은 여전히 과제별 수정과 처음부터의 훈련을 필요로 합니다. 본 연구에서는 모든 NLP 과제에 적용할 수 있는 효과적인 전이 학습 방법인 보편적 언어 모델 미세 조정(Universal Language Model Fine-tuning, ULMFiT)을 제안하며, 언어 모델을 미세 조정하는 데 중요한 기술들을 소개합니다. 제안된 방법은 6개의 텍스트 분류 과제에서 기존 최고 성능을 크게 능가하며, 대부분의 데이터셋에서 오류를 18-24% 감소시킵니다. 또한, 단지 100개의 라벨링된 예제만으로도 100배 많은 데이터로 처음부터 훈련한 성능과 맞먹는 결과를 얻습니다. 우리는 사전 훈련된 모델과 코드를 오픈 소스로 제공합니다.