منذ 2 أشهر
LLaMA: نماذج اللغة الأساسية المفتوحة والفعالة
Hugo Touvron; Thibaut Lavril; Gautier Izacard; Xavier Martinet; Marie-Anne Lachaux; Timothée Lacroix; Baptiste Rozière; Naman Goyal; Eric Hambro; Faisal Azhar; Aurelien Rodriguez; Armand Joulin; Edouard Grave; Guillaume Lample
الملخص
نقدم LLaMA، وهي مجموعة من نماذج اللغة الأساسية تتراوح معلماتها من 7 مليارات إلى 65 مليارًا. قمنا بتدريب نماذجنا على تريليونات الرموز، ونشير إلى أنه من الممكن تدريب نماذج رائدة في مجالها باستخدام قواعد بيانات متاحة للعامة فقط، دون اللجوء إلى قواعد البيانات الخاصة وغير المتاحة. وبشكل خاص، يتفوق LLaMA-13B على GPT-3 (175 مليارًا) في معظم المقاييس، بينما يكون LLaMA-65B في مستوى المنافسة مع أفضل النماذج، مثل Chinchilla-70B و PaLM-540B. نقوم بإطلاق جميع نماذجنا للمجتمع البحثي.