2달 전

대형 사전 학습 모델과 초대형 어휘: 히브리어 BERT 모델의 대조적 분석 및 모든 모델을 능가하는 새로운 모델

Eylon Gueta; Avi Shmidman; Shaltiel Shmidman; Cheyn Shmuel Shmidman; Joshua Guedalia; Moshe Koppel; Dan Bareket; Amit Seker; Reut Tsarfaty
대형 사전 학습 모델과 초대형 어휘: 히브리어 BERT 모델의 대조적 분석 및 모든 모델을 능가하는 새로운 모델
초록

우리는 현대 히브리어를 위한 새로운 사전 학습 언어 모델(PLM)인 AlephBERTGimmel을 제시합니다. 이 모델은 기존의 히브리어 PLM보다 훨씬 더 큰 어휘집(128,000 항목)을 사용합니다. 우리는 이 모델을 모든 이전 히브리어 PLM(mBERT, heBERT, AlephBERT)과 대조 분석하여 더 큰 어휘집이 작업 성능에 미치는 영향을 평가했습니다. 실험 결과, 더 큰 어휘집은 분할이 적어지며, 분할을 줄이는 것이 다양한 작업에서 모델 성능에 더 유리하다는 것을 확인했습니다. 총괄적으로 이 새로운 모델은 형태소 분절, 품사 태깅, 완전한 형태소 분석, 개체명 인식(NER), 감성 분석 등 모든 가능한 히브리어 벤치마크에서 새로운 최고 수준(SOTA) 성능을 달성하였습니다. 우리는 이러한 결과를 바탕으로 레이어 수나 학습 데이터뿐만 아니라 어휘집의 크기에서도 더 큰 PLM을 추구해야 함을 주장합니다. 우리는 이 새로운 모델을 공개적으로 무제한 사용할 수 있도록 배포하였습니다.

대형 사전 학습 모델과 초대형 어휘: 히브리어 BERT 모델의 대조적 분석 및 모든 모델을 능가하는 새로운 모델 | 최신 연구 논문 | HyperAI초신경