17일 전

FlauBERT: 프랑스어를 위한 비지도 언어 모델 사전 훈련

Hang Le, Loïc Vial, Jibril Frej, Vincent Segonne, Maximin Coavoux, Benjamin Lecouteux, Alexandre Allauzen, Benoît Crabbé, Laurent Besacier, Didier Schwab
FlauBERT: 프랑스어를 위한 비지도 언어 모델 사전 훈련
초록

언어 모델은 자연어 처리(NLP) 분야의 다양한 과제에서 최첨단 성과를 달성하기 위한 핵심적인 단계로 부상하였다. 오늘날 대량의 레이블이 없는 텍스트 데이터를 활용함으로써, 문장 수준의 맥락 정보를 포함한 연속적인 단어 표현을 사전 학습할 수 있는 효율적인 방법을 제공하며, 이후 특정 작업에 대해 미세 조정(fine-tuning)이 가능하다. 이는 영어에 대해 맥락 기반 표현을 활용한 다양한 연구들(Dai 및 Le, 2015; Peters 등, 2018; Howard 및 Ruder, 2018; Radford 등, 2018; Devlin 등, 2019; Yang 등, 2019b)을 통해 널리 입증되었다. 본 논문에서는 매우 방대하고 다양한 특성을 가진 프랑스어 코퍼스를 기반으로 학습된 FlauBERT 모델을 소개하고 공유한다. 다양한 크기의 모델은 프랑스 국립 과학 연구원(CNRS)의 새로운 제안 자이 초계산기(Jean Zay supercomputer)를 사용하여 학습되었다. 본 연구에서는 프랑스어 언어 모델을 다양한 NLP 과제(텍스트 분류, 동의어 표현 탐지, 자연어 추론, 문법 구문 분석, 단어 의미 해석 등)에 적용하고, 대부분의 경우 기존의 사전 학습 방법보다 뛰어난 성능을 보임을 보여준다. FlauBERT의 다양한 버전과 하류 과제에 대한 통합 평가 프로토콜인 FLUE(French Language Understanding Evaluation)도 연구 공동체에 공개하여, 프랑스어 NLP 분야에서 재현 가능한 실험을 더욱 촉진하고자 한다.

FlauBERT: 프랑스어를 위한 비지도 언어 모델 사전 훈련 | 최신 연구 논문 | HyperAI초신경