Phi-3 技术报告：在您的手机上本地运行的高度功能强大的语言模型
Marah Abdin, Sam Ade Jacobs, Ammar Ahmad Awan, Jyoti Aneja, Ahmed Awadallah, Hany Awadalla, Nguyen Bach, Amit Bahree, Arash Bakhtiari, Harkirat Behl, Alon Benhaim, Misha Bilenko, Johan Bjorck, Sébastien Bubeck, Martin Cai, Caio César Teodoro Mendes, Weizhu Chen, Vishrav Chaudhary, Parul Chopra, Allie Del Giorno, Gustavo de Rosa, Matthew Dixon, Ronen Eldan, Dan Iter, Abhishek Goswami, Suriya Gunasekar, Emman Haider, Junheng Hao, Russell J. Hewett, Jamie Huynh, Mojan Javaheripi, Xin Jin, Piero Kauffmann, Nikos Karampatziakis, Dongwoo Kim, Mahoud Khademi, Lev Kurilenko, James R. Lee, Yin Tat Lee, Yuanzhi Li, Chen Liang, Weishung Liu, Eric Lin, Zeqi Lin, Piyush Madan, Arindam Mitra, Hardik Modi, Anh Nguyen, Brandon Norick, Barun Patra, Daniel Perez-Becker, Thomas Portet, Reid Pryzant, Heyang Qin, Marko Radmilac, Corby Rosset, Sambudha Roy, Olli Saarikivi, Amin Saied, Adil Salim, Michael Santacroce, Shital Shah, Ning Shang, Hiteshi Sharma, Xia Song, Olatunji Ruwase, Xin Wang, Rachel Ward, Guanhua Wang, Philipp Witte, Michael Wyatt, Can Xu, Jiahang Xu, Sonali Yadav, Fan Yang, Ziyi Yang, Donghan Yu, Chengruidong Zhang, Cyril Zhang, Jianwen Zhang, Li Lyna Zhang, Yi Zhang, Yunan Zhang, Xiren Zhou
发布日期: 4/24/2025
摘要
我们介绍了一种名为phi-3-mini的语言模型，该模型拥有38亿个参数，训练数据量为3.3万亿个标记。根据学术基准测试和内部测试的综合评估，其整体性能可与Mixtral 8x7B和GPT-3.5等模型相媲美（例如，phi-3-mini在MMLU上的得分为69%，在MT-bench上的得分为8.38），尽管其规模小到足以在手机上部署。这一创新完全归功于我们的训练数据集，这是phi-2所使用数据集的扩展版本，由经过严格过滤的网络数据和合成数据组成。此外，该模型还经过进一步对齐以提高其鲁棒性、安全性和聊天格式的适应性。我们还提供了一些初步的参数扩展结果，这些结果来自训练了4.8万亿个标记的70亿参数和140亿参数模型，分别称为phi-3-small和phi-3-medium，这两者的性能均显著优于phi-3-mini（例如，在MMLU上的得分分别为75%和78%，在MT-bench上的得分分别为8.7和8.9）。