Nous présentons phi-3-mini, un modèle linguistique de 3,8 milliard de paramètres entraîné sur 3,3 billions de tokens, dont les performances globales, mesurées à la fois par des benchmarks académiques et des tests internes, sont comparables à celles de modèles tels que Mixtral 8x7B et GPT-3.5 (par exemple, phi-3-mini atteint 69 % sur MMLU et 8,38 sur MT-bench), tout en étant suffisamment petit pour être déployé sur un smartphone. L'innovation réside entièrement dans notre jeu de données d'entraînement, une version élargie de celui utilisé pour phi-2, composée de données web fortement filtrées et de données synthétiques. Le modèle a également été affiné ultérieurement pour améliorer sa robustesse, sa sécurité et sa compatibilité avec les formats de conversation. Nous fournissons également quelques résultats initiaux d'extension de la taille des paramètres, issus d'entraînements sur 4,8 billions de tokens de modèles de 7 milliards et 14 milliards de paramètres, appelés respectivement phi-3-small et phi-3-medium, qui se distinguent nettement par leur plus grande capacité par rapport à phi-3-mini (par exemple, 75 % et 78 % sur MMLU, et 8,7 et 8,9 sur MT-bench).