2 个月前

LLaMA：开放且高效的语言基础模型

Hugo Touvron; Thibaut Lavril; Gautier Izacard; Xavier Martinet; Marie-Anne Lachaux; Timothée Lacroix; Baptiste Rozière; Naman Goyal; Eric Hambro; Faisal Azhar; Aurelien Rodriguez; Armand Joulin; Edouard Grave; Guillaume Lample

查看论文详情

摘要

我们介绍了LLaMA，这是一系列基础语言模型，参数规模从70亿到650亿不等。我们的模型在数万亿个标记上进行了训练，并证明了仅使用公开可用的数据集即可训练出最先进的模型，而无需依赖专有且难以获取的数据集。特别是，LLaMA-13B在大多数基准测试中优于GPT-3（1750亿参数），而LLaMA-65B则与最佳模型Chinchilla-70B和PaLM-540B具有竞争力。我们已将所有模型发布给研究社区。