本稿では、3.3兆トークンのデータセットを用いて学習された38億パラメータの言語モデル「phi-3-mini」を紹介する。このモデルは、学術的ベンチマークおよび社内評価において、Mixtral 8x7BやGPT-3.5と同等の性能を発揮しており（例：MMLUで69%、MT-benchで8.38）、スマートフォン上でも実装可能な小型化を実現している。本モデルの革新点は、phi-2で使用されたデータセットのスケーリングアップ版である学習データセットにあり、その中には厳密にフィルタリングされたウェブデータと合成データが含まれる。また、モデルは耐障害性、安全性、チャット形式への適合性をさらに高めるため、追加の調整が施されている。さらに、4.8兆トークンのデータで学習された70億パラメータ（phi-3-small）および140億パラメータ（phi-3-medium）のモデルについて、初期のパラメータスケーリングの結果も提示する。これらはいずれもphi-3-miniよりも顕著に優れた能力を有しており（MMLUではそれぞれ75%および78%、MT-benchでは8.7および8.9を達成）。