HyperAIHyperAI

Command Palette

Search for a command to run...

Nile-Chat : Modèles de langage égyptiens pour les scripts arabes et latins

Guokan Shang Hadi Abdine Ahmad Chamma Amr Mohamed Mohamed Anwar Abdelaziz Bounhar Omar El Herraoui Preslav Nakov Michalis Vazirgiannis Eric Xing

Résumé

Nous présentons Nile-Chat-4B, 3x4B-A6B et 12B, une collection de modèles de langage à grande échelle (LLMs) spécialement conçus pour le dialecte égyptien, capables de comprendre et de générer des textes écrits en caractères arabes et latins. Plus précisément, avec Nile-Chat-3x4B-A6B, nous introduisons une nouvelle approche d'adaptation linguistique en utilisant la stratégie Branch-Train-MiX pour fusionner des experts spécialisés dans les scripts, au sein d'un seul modèle MoE (Mixture of Experts). Nos modèles Nile-Chat surpassent significativement les modèles multilingues et arabophones de pointe tels que LLaMa, Jais et ALLaM sur nos nouveaux benchmarks d'évaluation égyptiens, qui couvrent à la fois des tâches de compréhension et de génération. Notamment, notre modèle 12B offre une amélioration de performance de 14,4 % par rapport à Qwen2.5-14B-Instruct sur les benchmarks en caractères latins. Toutes nos ressources sont disponibles publiquement. Nous croyons que ce travail présente une méthodologie complète pour l'adaptation des LLMs aux langues bialphabétiques, abordant un aspect souvent négligé dans le développement moderne des LLMs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Nile-Chat : Modèles de langage égyptiens pour les scripts arabes et latins | Articles | HyperAI