Hasan Abed Al Kader Hammoud Mohammad Zbeeb Bernard Ghanem

要約

我々は、独自の「翻訳・チューニング」パイプラインを用いて構築した、アラビア語を軸とした指示・翻訳モデルのファミリー「Hala」を紹介する。まず、強力なAR↔EN教師モデルをFP8精度に圧縮することで、品質に損なわれることなく2倍のスループットを達成した。このモデルを用いて高忠実度の双語教師データを生成し、その後、軽量な言語モデルであるLFM2-1.2Bをこのデータ上で微調整（fine-tuning）した。この微調整済みモデルにより、高品質な英語指示データセットをアラビア語に翻訳し、指示追従に特化したミリオンスケールのコーパスを構築した。Halaモデルは350M、700M、1.2B、9Bパラメータ規模で学習を行い、スレープ（slerp）マージ手法を適用することで、アラビア語特化性能とベースモデルの強みのバランスを図った。アラビア語を軸としたベンチマークにおいて、Halaは「ナノ」（2B以下）および「スモール」（7–9B）のカテゴリで、それぞれSOTA（最先端）の性能を達成し、ベースモデルを上回った。本研究では、モデル、学習データ、評価結果、学習手法のレシピを公開し、アラビア語NLP分野の研究を加速することを目的としている。