Hasan Abed Al Kader Hammoud Mohammad Zbeeb Bernard Ghanem

Résumé

Nous présentons Hala, une famille de modèles d'instruction et de traduction centrés sur l'arabe, construits grâce à notre pipeline « translate-and-tune ». Nous commençons par compresser un modèle enseignant AR↔EN performant jusqu'en FP8 (ce qui permet d'obtenir un débit deux fois plus élevé sans perte de qualité), puis l'utilisons pour générer une supervision bilingue de haute fidélité. Un modèle linguistique léger, LFM2-1.2B, est ensuite fine-tuné sur ces données et utilisé pour traduire des ensembles d'instructions en anglais de haute qualité vers l'arabe, produisant ainsi un corpus d'une taille du million d'exemples, spécifiquement conçu pour le suivi d'instructions. Nous entraînons les modèles Hala à 350 M, 700 M, 1,2 B et 9 B paramètres, et appliquons une fusion slerp afin d'équilibrer la spécialisation arabe avec les forces du modèle de base. Sur des benchmarks centrés sur l'arabe, Hala atteint des résultats de pointe dans les catégories « nano » (≤2 B) et « small » (7–9 B), surpassant même leurs modèles de base. Nous mettons à disposition les modèles, les données, les évaluations et les procédures afin d'accélérer la recherche en traitement automatique du langage arabe.