전송 학습의 한계 탐구: 통합된 텍스트-텍스트 트랜스포머를 이용한 연구

전이 학습은 모델을 먼저 데이터가 풍부한 작업에서 사전 학습한 후 하류 작업에 맞게 미세 조정하는 기술로, 자연어 처리(NLP) 분야에서 강력한 방법으로 부각되었습니다. 전이 학습의 효과성은 다양한 접근 방식, 방법론 및 실천을 촉발시켰습니다. 본 논문에서는 모든 텍스트 기반 언어 문제를 텍스트-텍스트 형식으로 변환하는 통합 프레임워크를 소개함으로써 NLP의 전이 학습 기술 경계를 탐구합니다. 우리의 체계적인 연구는 사전 학습 목표, 아키텍처, 라벨되지 않은 데이터 세트, 전이 접근 방식 및 기타 요인들을 수십 개의 언어 이해 작업에서 비교합니다. 우리의 탐구에서 얻은 인사이트와 새로운 "거대한 정제된 크롤링 코퍼스(Colossal Clean Crawled Corpus)"를 결합하여, 요약, 질문 응답, 텍스트 분류 등 여러 벤치마크에서 최고 성능을 달성하였습니다. 앞으로의 NLP 전이 학습 연구를 지원하기 위해, 우리는 데이터 세트, 사전 학습된 모델 및 코드를 공개합니다.