태스크 프리픽스를 활용한 다중태스크 사전학습의 확장: 태스크 컴패스

대규모 레이블 없는 데이터에서 자기지도 학습(self-supervised learning)을 지원하기 위해 작업 인지(task-aware) annotation 데이터를 감독 신호로 활용하는 것은 언어 모델 사전 훈련 분야에서 새로운 트렌드로 부상하고 있다. 기존 연구들은 대규모 감독 작업을 활용한 다중 작업 학습(multi-task learning)이 작업 간에 부정적인 영향을 미친다는 점을 지적하고 있다. 이러한 문제를 해결하기 위해, 본 연구에서는 작업 접두사(task prefix)를 유도하는 다중 작업 사전 훈련 프레임워크를 제안한다. 이 프레임워크는 작업 간 관계를 탐색하는 데 초점을 맞추고 있다. 우리는 40개의 데이터셋에서 광범위한 실험을 수행하였으며, 실험 결과 제안하는 모델이 다양한 작업에 대한 강력한 기반 백본(backend)으로서의 역할을 수행할 뿐만 아니라, 작업 간 관계를 분석하는 탐색 도구(probing tool)로서도 실용 가능함을 확인하였다. 접두사에 반영된 작업 간 관계는 작업 간 전이 학습 성능과 잘 일치하며, 보완적인 작업을 활용한 데이터 증강(data augmentation) 방향성을 제시한다. 이러한 방향성은 우리 모델이 일반 지식 추론(commonsense reasoning) 리더보드에서 인간 수준의 성능(_human-parity results)을 달성하는 데 기여하였다. 코드는 다음 주소에서 공개되어 있다: https://github.com/cooelf/CompassMTL