Les systèmes d’intelligence artificielle modernes reposent sur des modèles fondamentaux.Cet article présente une nouvelle série de modèles fondamentaux, appelés Llama 3. Il s’agit d’un ensemble de modèles linguistiques capables, de manière native, de traiter plusieurs langues, de comprendre et de générer du code, de raisonner et d’utiliser des outils. Notre modèle le plus puissant est un modèle Transformer dense de 405 milliards de paramètres, avec une fenêtre contextuelle pouvant atteindre 128 000 tokens. Cet article présente une évaluation empirique approfondie de Llama 3. Nous constatons que Llama 3 atteint une qualité comparable à celle des modèles linguistiques de pointe, tels que GPT-4, sur un large éventail de tâches. Nous mettons publiquement à disposition Llama 3, incluant les versions pré-entraînées et post-entraînées du modèle linguistique de 405 milliards de paramètres, ainsi que notre modèle Llama Guard 3, dédié à la sécurité des entrées et des sorties. L’article présente également les résultats d’expériences dans lesquelles nous avons intégré, par une approche compositionnelle, des capacités visuelles, vidéo et audio à Llama 3. Nous observons que cette approche se distingue de manière compétitive par rapport aux états de l’art sur les tâches de reconnaissance d’images, de vidéos et de parole. Les modèles issus de ces travaux ne sont pas encore largement diffusés, car ils sont encore en cours de développement.