Wir stellen phi-3-mini vor, ein Sprachmodell mit 3,8 Milliarden Parametern, das auf 3,3 Billionen Tokens trainiert wurde. Seine Gesamtleistung, gemessen an akademischen Benchmarks sowie internen Tests, erreicht das Niveau von Modellen wie Mixtral 8x7B und GPT-3.5 (beispielsweise erzielt phi-3-mini 69 % auf MMLU und 8,38 auf MT-bench), obwohl es klein genug ist, um auf einem Smartphone eingesetzt zu werden. Die Innovation beruht vollständig auf unserem Trainingsdatensatz, einer skalierten Version des für phi-2 verwendeten Datensatzes, der aus stark gefiltertem Web- und synthetischem Datenmaterial besteht. Das Modell wurde zudem weiterhin auf Robustheit, Sicherheit und die Nutzung im Chat-Format ausgerichtet. Zudem präsentieren wir erste Ergebnisse zur Parameter-Skalierung, basierend auf Modellen mit 7B und 14B Parametern, die jeweils auf 4,8 Billionen Tokens trainiert wurden und als phi-3-small und phi-3-medium bezeichnet werden. Beide Modelle sind erheblich leistungsfähiger als phi-3-mini (beispielsweise 75 % und 78 % auf MMLU sowie 8,7 und 8,9 auf MT-bench).