Hasan Abed Al Kader Hammoud Mohammad Zbeeb Bernard Ghanem

초록

우리는 ‘Hala’이라는 아랍어 중심의 지시(instruction) 및 번역 모델 패밀리를 제시한다. 이 모델들은 우리만의 ‘번역 후 조정(translate-and-tune)’ 파이프라인을 통해 구축되었다. 먼저 강력한 AR↔EN 교사 모델을 FP8로 압축하여, 품질 손실 없이 처리량을 2배 이상 향상시켰고, 이를 바탕으로 고정밀 이중 언어 감독 데이터를 생성하였다. 이후 경량 언어 모델인 LFM2-1.2B를 이 데이터에 대해 미세조정(fine-tuning)한 후, 고품질 영문 지시 집합을 아랍어로 번역하는 데 활용하여, 지시 따르기(instruction following)에 특화된 백만 수준의 어휘 집합을 생성하였다. Hala 모델은 각각 3.5억, 7억, 12억, 90억 파라미터 규모로 학습되었으며, 아랍어 전문성과 기반 모델의 강점을 균형 있게 유지하기 위해 slerp 병합 기법을 적용하였다. 아랍어 중심의 벤치마크에서 Hala는 ‘나노’(≤2B) 및 ‘스몰’(7–9B) 범주 내에서 기존 최고 수준의 성능을 달성하였으며, 기반 모델을 모두 상회하는 결과를 보였다. 본 연구에서는 모델, 데이터, 평가 방법 및 학습 레시피를 공개함으로써 아랍어 자연어 처리(NLP) 분야의 연구를 가속화하고자 한다.