Moderne Künstliche-Intelligenz-Systeme (KI) werden durch Grundmodelle angetrieben.Dieses Papier stellt eine neue Reihe von Grundmodellen vor, die als Llama 3 bezeichnet werden. Es handelt sich um eine Gruppe von Sprachmodellen, die nativ Mehrsprachigkeit, Programmierung, Schlussfolgerung und Werkzeugnutzung unterstützen. Unser größtes Modell ist ein dichter Transformer mit 405 Milliarden Parametern und einem Kontextfenster von bis zu 128.000 Token. Das Papier enthält eine umfangreiche empirische Bewertung von Llama 3. Wir stellen fest, dass Llama 3 auf einer Vielzahl von Aufgaben eine vergleichbare Qualität zu führenden Sprachmodellen wie GPT-4 bietet. Wir veröffentlichen Llama 3 öffentlich, einschließlich vortrainierten und nachtrainierten Versionen des 405-Milliarden-Parameter-Sprachmodells sowie unseres Llama Guard 3-Modells für die Sicherheit von Eingabe und Ausgabe. Das Papier präsentiert zudem die Ergebnisse von Experimenten, in denen wir Fähigkeiten zur Bild-, Video- und Spracherkennung in Llama 3 durch einen kompositionellen Ansatz integrieren. Wir beobachten, dass dieser Ansatz wettbewerbsfähig mit dem Stand der Technik bei Bild-, Video- und Spracherkennungsaufgaben performt. Die resultierenden Modelle werden derzeit noch nicht breit veröffentlicht, da sie sich noch in der Entwicklung befinden.