Yifan Wang Binbin Liu Fengze Liu Yuanfan Guo Jiyao Deng Xuecheng Wu Weidong Zhou Xiaohuan Zhou Taifeng Wang

Résumé

Le mélange de données utilisé lors du préentraînement d’un modèle linguistique constitue un pilier fondamental de sa performance finale. Toutefois, une stratégie statique de mélange s’avère sous-optimale, car les préférences d’apprentissage du modèle pour différents domaines de données évoluent de manière dynamique au cours de l’entraînement. De manière cruciale, observer ces préférences en évolution de manière efficace sur le plan computationnel reste un défi majeur. Pour relever ce défi, nous proposons TiKMiX, une méthode qui ajuste dynamiquement le mélange de données en fonction des préférences évolutives du modèle. TiKMiX introduit le concept de Group Influence, une métrique efficace pour évaluer l’impact des différents domaines de données sur le modèle. Cette métrique permet de formuler le problème du mélange de données comme une recherche d’une distribution optimale maximisant l’influence. Nous résolvons ce problème par deux approches : TiKMiX-D, basée sur une optimisation directe, et TiKMiX-M, qui utilise un modèle de régression pour prédire un mélange supérieur. Nous avons entraîné des modèles avec différents nombres de paramètres, sur jusqu’à 1 trillion de tokens. TiKMiX-D dépasse les performances des méthodes de pointe telles que REGMIX, tout en utilisant uniquement 20 % des ressources computationnelles. TiKMiX-M permet une amélioration moyenne de 2 % sur 9 benchmarks en aval. Nos expériences révèlent que les préférences du modèle en matière de données évoluent avec l’avancement et l’échelle de l’entraînement, et démontrons que l’ajustement dynamique du mélange de données basé sur le Group Influence, une mesure directe de ces préférences, améliore significativement les performances en réduisant le sous-apprentissage des données observé avec des ratios statiques.