17일 전

콤팩트 언어 모델에 대한 사전 훈련 데이터 양의 중요성

Vincent Micheli, Martin d&#39, Hoffschmidt, François Fleuret
콤팩트 언어 모델에 대한 사전 훈련 데이터 양의 중요성
초록

최근 언어 모델링 기술의 발전으로 인해 계산량이 많고 자원을 많이 소모하는 최첨단 모델들이 등장하고 있다. 지속 가능한 실천 방향을 모색하기 위해, 우리는 사전 훈련 데이터의 양이 컴팩트한 언어 모델에 미치는 영향을 조사하였다. 점진적으로 증가하는 프랑스어 텍스트 양을 기반으로 여러 BERT 기반 모델을 훈련시켰다. 프랑스어 질의응답 데이터셋(FQuAD)에서의 미세조정을 통해, 단지 100MB의 텍스트만으로도 우수한 성능을 보이는 모델을 얻을 수 있음을 관찰하였다. 또한, 과거에 비해 매우 낮은 수준의 사전 훈련 데이터를 사용할 경우, 작업 특화 코퍼스에서 중간 단계의 사전 훈련이 큰 성능 향상은 가져오지 못함을 입증하였다.

콤팩트 언어 모델에 대한 사전 훈련 데이터 양의 중요성 | 최신 연구 논문 | HyperAI초신경