2달 전
Llama 2: 오픈 기반 및 미세 조정 챗 모델
Hugo Touvron; Louis Martin; Kevin Stone; Peter Albert; Amjad Almahairi; Yasmine Babaei; Nikolay Bashlykov; Soumya Batra; Prajjwal Bhargava; Shruti Bhosale; Dan Bikel; Lukas Blecher; Cristian Canton Ferrer; Moya Chen; Guillem Cucurull; David Esiobu; Jude Fernandes; Jeremy Fu; Wenyin Fu; Brian Fuller; Cynthia Gao; Vedanuj Goswami; Naman Goyal; Anthony Hartshorn; Saghar Hosseini; Rui Hou; Hakan Inan; Marcin Kardas; Viktor Kerkez; Madian Khabsa; Isabel Kloumann; Artem Korenev; Punit Singh Koura; Marie-Anne Lachaux; Thibaut Lavril; Jenya Lee; Diana Liskovich; Yinghai Lu; Yuning Mao; Xavier Martinet; Todor Mihaylov; Pushkar Mishra; Igor Molybog; Yixin Nie; Andrew Poulton; Jeremy Reizenstein; Rashi Rungta; Kalyan Saladi; Alan Schelten; Ruan Silva; Eric Michael Smith; Ranjan Subramanian; Xiaoqing Ellen Tan; Binh Tang; Ross Taylor; Adina Williams; Jian Xiang Kuan; Puxin Xu; Zheng Yan; Iliyan Zarov; Yuchen Zhang; Angela Fan; Melanie Kambadur; Sharan Narang; Aurelien Rodriguez; Robert Stojnic; Sergey Edunov; Thomas Scialom
초록
이 연구에서는 70억에서 700억 매개변수 규모의 사전 학습 및 미세 조정된 대형 언어 모델(Large Language Models, LLMs)인 Llama 2를 개발하고 공개합니다. 우리의 미세 조정된 LLMs는 대화 사용 사례에 최적화된 Llama 2-Chat으로 명명되었습니다. 우리의 모델은 대부분의 벤치마크에서 오픈 소스 챗봇 모델을 능가하며, 유용성과 안전성을 평가한 결과에 따르면, 클로즈드 소스 모델의 적절한 대체품이 될 수 있을 것입니다. 우리는 Llama 2-Chat의 미세 조정 및 안전성 향상 방법에 대한 자세한 설명을 제공하여 커뮤니티가 우리의 작업을 바탕으로 발전시키고 LLMs의 책임 있는 개발에 기여할 수 있도록 합니다.