نقدم LLaMA، وهي مجموعة من نماذج اللغة الأساسية تتراوح معلماتها من 7 مليارات إلى 65 مليارًا. قمنا بتدريب نماذجنا على تريليونات الرموز، ونشير إلى أنه من الممكن تدريب نماذج رائدة في مجالها باستخدام قواعد بيانات متاحة للعامة فقط، دون اللجوء إلى قواعد البيانات الخاصة وغير المتاحة. وبشكل خاص، يتفوق LLaMA-13B على GPT-3 (175 مليارًا) في معظم المقاييس، بينما يكون LLaMA-65B في مستوى المنافسة مع أفضل النماذج، مثل Chinchilla-70B و PaLM-540B. نقوم بإطلاق جميع نماذجنا للمجتمع البحثي.