대형 사전 학습 언어 모델을 이용한 실용적인 텍스트 분류

다중 감정 분류는 실제 데이터에서 가치 있는 사용 사례를 가진 자연어 처리(NLP) 문제입니다. 우리는 대규모 비지도 언어 모델링과 미세 조정(finetuning)의 결합이 라벨 클래스 불균형과 도메인 특화 컨텍스트를 포함하는 어려운 데이터셋에서도 이 작업에 대한 실용적인 해결책을 제공함을 보여줍니다. 40GB의 텍스트(아마존 리뷰)(McAuley 등, 2015)에서 주목ksam 기반 트랜스포머 네트워크(Vaswani 등, 2017)를 학습시키고 훈련 세트에서 미세 조정을 수행하여, 우리의 모델은 플루치크 감정 휠(Plutchik, 1979)을 기반으로 하는 SemEval 태스크 1:E-c 다차원 감정 분류 문제(Mohammad 등, 2018)에서 0.69의 F1 점수를 달성합니다. 이러한 결과는 공포(Fear)(0.73), 혐오(Disgust)(0.77), 분노(Anger)(0.78)와 같은 어려운 (감정) 범주에서도 높은 F1 점수를 보이는 최신 모델들과 경쟁력이 있으며, 예상(Anticipation)(0.42), 놀람(Surprise)(0.37)과 같은 드문 범주에서도 경쟁력 있는 성능을 보입니다.또한, 우리는 실제 세계 텍스트 분류 작업에서 우리의 응용 프로그램을 시연합니다. 여러 주제에 대한 실제 트윗으로 구성된 좁게 수집된 텍스트 데이터셋을 생성하고, 이 데이터셋에서 우리의 미세 조정된 모델이 일반적인 상업용 API보다 감성 및 다차원 감정 분류에서 크게 우월한 성능을 발휘함을 보여줍니다. 또한, 실제 다차원 감성 분류를 달성하기 위한 딥러닝 아키텍처, 데이터셋 및 알고리즘의 특성을 조사하는 다양한 추가 연구도 수행하였습니다. 총괄적으로 보면, 비지도 언어 모델링과 미세 조정은 실제 세계 감성 분류에서 고품질 결과를 얻기 위한 간단한 프레임워크임을 확인할 수 있습니다.