Eka-Eval : Un Cadre d'Évaluation Complet pour les Grands Modèles de Langue en Langues Indiennes

L'avancement rapide des grands modèles de langage (LLMs) a accru la nécessité de cadres d'évaluation dépassant les référentiels centrés sur l'anglais et répondant aux exigences des régions linguistiquement diverses telles que l'Inde. Nous présentons EKA-EVAL, un cadre d'évaluation unifié et prêt pour la production qui intègre plus de 35 référentiels, dont 10 ensembles de données spécifiques aux langues indiennes, couvrant des catégories telles que le raisonnement, les mathématiques, l'utilisation d'outils, la compréhension du contexte à long terme et la lecture compréhensive. Comparé aux outils d'évaluation existants pour les langues indiennes, EKA-EVAL offre une couverture de référentiels plus large, avec un support intégré pour l'inférence distribuée, la quantification et l'utilisation multi-GPU. Notre comparaison systématique place EKA-EVAL comme le premier ensemble d'évaluation complet et extensible adapté aux LLMs mondiaux et indiens, réduisant considérablement les obstacles à l'évaluation multilingue. Le cadre est open-source et disponible au public sur https://github.com/lingo-iitgn/eka-eval et fait partie de l'initiative EKA en cours (https://eka.soket.ai), qui vise à s'étendre à plus de 100 référentiels et à établir un écosystème d'évaluation robuste et multilingue pour les LLMs.