Les grands modèles linguistiques (LLM) ont révolutionné le domaine de l’intelligence artificielle, permettant de réaliser des tâches de traitement du langage naturel autrefois considérées comme exclusivement humaines. Dans ce travail, nous présentons Qwen, le premier modèle de notre série de grands modèles linguistiques. Qwen constitue une série complète de modèles linguistiques, comprenant des modèles distincts aux tailles de paramètres variées. Elle inclut Qwen, les modèles pré-entraînés de base, ainsi que Qwen-Chat, les modèles spécialisés dans les dialogues et finement ajustés grâce à des techniques d’alignement humain. Les modèles de base affichent de manière cohérente des performances supérieures sur une large gamme de tâches ultérieures, tandis que les modèles conversationnels, notamment ceux entraînés par apprentissage par renforcement à partir de feedback humain (RLHF), se distinguent par leur compétitivité élevée. Ces modèles conversationnels possèdent des capacités avancées d’utilisation d’outils et de planification, permettant ainsi la création d’applications d’agents, et montrent des performances remarquables, même comparées à celles de modèles plus volumineux, sur des tâches complexes telles que l’utilisation d’un interpréteur de code. En outre, nous avons développé des modèles spécialisés en programmation, à savoir Code-Qwen et Code-Qwen-Chat, ainsi que des modèles dédiés aux mathématiques, tels que Math-Qwen-Chat, tous construits sur la base des modèles linguistiques. Ces modèles offrent des performances nettement améliorées par rapport aux modèles open-source, tout en se situant légèrement en retrait par rapport aux modèles propriétaires.