Back to Headlines

๐Ÿค— Hugging Face, 30์–ต ํŒŒ๋ผ๋ฏธํ„ฐ์˜ ๋‹ค๊ตญ์–ด ์žฅ๋ฌธ ์ฒ˜๋ฆฌ ๋ชจ๋ธ SmolLM3 ์ถœ์‹œ

2์ผ ์ „

Hugging Face๊ฐ€ ์ตœ๊ทผ 'SmolLM3'๋ผ๋Š” ์ƒˆ๋กœ์šด ์–ธ์–ด ๋ชจ๋ธ์„ ์ถœ์‹œํ–ˆ์Šต๋‹ˆ๋‹ค. 'Smol' ์‹œ๋ฆฌ์ฆˆ์˜ ์ตœ์‹  ๋ฒ„์ „์ธ SmolLM3๋Š” 30์–ต ๊ฐœ์˜ ๋งค๊ฐœ๋ณ€์ˆ˜๋กœ, ์žฅ๋ฌธ ์ปจํ…์ŠคํŠธ์™€ ๋‹ค๊ตญ์–ด ์ถ”๋ก ์„ ํšจ๊ณผ์ ์œผ๋กœ ์ˆ˜ํ–‰ํ•˜๋„๋ก ์„ค๊ณ„๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ผ๋ฐ˜์ ์œผ๋กœ ๊ณ ์ปจํ…์ŠคํŠธ ์ฒ˜๋ฆฌ ๋Šฅ๋ ฅ์„ ๊ฐ€์ง„ ๋ชจ๋ธ๋“ค์€ 70์–ต ๊ฐœ ์ด์ƒ์˜ ๋งค๊ฐœ๋ณ€์ˆ˜๋ฅผ ํ•„์š”๋กœ ํ•˜์ง€๋งŒ, SmolLM3๋Š” ์ด๋ณด๋‹ค ํ›จ์”ฌ ์ ์€ ๋งค๊ฐœ๋ณ€์ˆ˜๋กœ๋„ ์ตœ์ƒ์˜ ์„ฑ๋Šฅ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ๋น„์šฉ ํšจ์œจ์„ฑ์„ ๋†’์ด๊ณ  ์ œํ•œ๋œ ํ•˜๋“œ์›จ์–ด์—์„œ๋„ ์‰ฝ๊ฒŒ ๋ฐฐํฌํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” ์žฅ์ ์ด ์žˆ์Šต๋‹ˆ๋‹ค. SmolLM3 ๊ฐœ์š” SmolLM3๋Š” ๋‹จ 30์–ต ๊ฐœ์˜ ๋งค๊ฐœ๋ณ€์ˆ˜๋กœ 128,000 ํ† ํฐ๊นŒ์ง€ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ๋Š” ์žฅ๋ฌธ ์ปจํ…์ŠคํŠธ์™€ ๋‹ค๊ตญ์–ด ์ถ”๋ก ์„ ์ง€์›ํ•˜๋Š” ํ˜์‹ ์ ์ธ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ์ด ๋ชจ๋ธ์€ 11์กฐ ๊ฐœ์˜ ํ† ํฐ์œผ๋กœ ํ›ˆ๋ จ๋˜์—ˆ์œผ๋ฉฐ, Mistral, LLaMA 2, Falcon๊ณผ ๊ฐ™์€ ๋ชจ๋ธ๋“ค๊ณผ ๊ฒฝ์Ÿ๋ ฅ์„ ๊ฐ€์ง€๋Š” ์„ฑ๋Šฅ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค. SmolLM3๋Š” ํฌ๊ธฐ์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ  ํˆด ์‚ฌ์šฉ, ์†Œ๋Ÿ‰ ์ƒ˜ํ”Œ ์ถ”๋ก  ๋“ฑ์˜ ๋Šฅ๋ ฅ์ด ๋›ฐ์–ด๋‚˜๋ฉฐ, ์ด๋Š” ์ผ๋ฐ˜์ ์œผ๋กœ ๋‘์„ธ๋ฐฐ ํฌ๊ธฐ์˜ ๋ชจ๋ธ์—์„œ๋งŒ ๋ณผ ์ˆ˜ ์žˆ๋Š” ํŠน์„ฑ์ž…๋‹ˆ๋‹ค. SmolLM3์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์žฅ๋ฌธ ์ปจํ…์ŠคํŠธ ์ถ”๋ก  (์ตœ๋Œ€ 128,000 ํ† ํฐ) SmolLM3๋Š” ์ˆ˜์ •๋œ ์–ดํ…์…˜ ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ์‚ฌ์šฉํ•˜์—ฌ ๋งค์šฐ ๊ธด ์ปจํ…์ŠคํŠธ(์ตœ๋Œ€ 128,000 ํ† ํฐ)๋ฅผ ํšจ์œจ์ ์œผ๋กœ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ๊ธฐ๋Šฅ์€ ์—ฐ์žฅ๋œ ๋ฌธ์„œ, ๋กœ๊ทธ, ๋˜๋Š” ๊ตฌ์กฐํ™”๋œ ๊ธฐ๋ก์„ ์ฒ˜๋ฆฌํ•˜๋Š” ์ž‘์—…์—์„œ ํŠนํžˆ ์ค‘์š”ํ•˜๋ฉฐ, ์ปจํ…์ŠคํŠธ ๊ธธ์ด๊ฐ€ ์ดํ•ด๋„์™€ ์ •ํ™•๋„์— ์ง์ ‘์ ์ธ ์˜ํ–ฅ์„ ๋ฏธ์นฉ๋‹ˆ๋‹ค. ์ด์ค‘ ๋ชจ๋“œ ์ถ”๋ก  SmolLM3-3B๋Š” ์ง€์‹œ ์กฐ์ •๋œ ๋ณ€ํ˜•์œผ๋กœ, ์ด์ค‘ ๋ชจ๋“œ ์ถ”๋ก ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ์ด ๋ชจ๋ธ์€ ๊ฐœ๋ฐฉํ˜• ์ƒ์„ฑ๊ณผ ๊ตฌ์กฐํ™”๋œ ์ถ”๋ก ์„ ๋ชจ๋‘ ์ž˜ ์ˆ˜ํ–‰ํ•˜์—ฌ, RAG ํŒŒ์ดํ”„๋ผ์ธ๋ถ€ํ„ฐ ์—์ด์ „ํŠธ ์›Œํฌํ”Œ๋กœ๊นŒ์ง€ ๋‹ค์–‘ํ•œ ์‘์šฉ ๋ถ„์•ผ์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค. ๋‹ค๊ตญ์–ด ์ง€์› SmolLM3๋Š” ์˜์–ด, ํ”„๋ž‘์Šค์–ด, ์ŠคํŽ˜์ธ์–ด, ๋…์ผ์–ด, ์ดํƒˆ๋ฆฌ์•„์–ด, ํฌ๋ฅดํˆฌ๊ฐˆ์–ด ๋“ฑ 6๊ฐœ ์–ธ์–ด๋ฅผ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. XQuAD์™€ MGSM์™€ ๊ฐ™์€ ๋‹ค๊ตญ์–ด ๋ฒค์น˜๋งˆํฌ์—์„œ ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ์„ ๋ณด์—ฌ์ฃผ๋ฉฐ, ์–ธ์–ด ๊ฐ„ ์„ฑ๋Šฅ ์ €ํ•˜๊ฐ€ ์ตœ์†Œํ™”๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. ๋งค๊ฐœ๋ณ€์ˆ˜ ์ˆ˜๊ฐ€ ์ ์ง€๋งŒ ์ตœ์ƒ์˜ ์„ฑ๋Šฅ 30์–ต ๊ฐœ์˜ ๋งค๊ฐœ๋ณ€์ˆ˜๋กœ ๊ตฌ์„ฑ๋œ SmolLM3๋Š” Mistral-7B์™€ ๊ฐ™์€ ๋” ํฐ ๋ชจ๋ธ๋“ค์—์„œ ๋ณผ ์ˆ˜ ์žˆ๋Š” ์„ฑ๋Šฅ์— ๊ทผ์ ‘ํ•˜๊ฑฐ๋‚˜ ๋น„๊ฒฌ๋˜๋Š” ๊ฒฐ๊ณผ๋ฅผ ๋‚ด๋†“์Šต๋‹ˆ๋‹ค. ์ด๋Š” 11์กฐ ๊ฐœ์˜ ํ† ํฐ์œผ๋กœ ๊ตฌ์„ฑ๋œ ๊ณ ํ’ˆ์งˆ ํ›ˆ๋ จ ๋ฐ์ดํ„ฐ์™€ ์‹ ๊ฒฝ๋ง ์•„ํ‚คํ…์ฒ˜์˜ ์„ธ์‹ฌํ•œ ์กฐ์ • ๋•๋ถ„์ž…๋‹ˆ๋‹ค. ํˆด ์‚ฌ์šฉ๊ณผ ๊ตฌ์กฐํ™”๋œ ์ถœ๋ ฅ SmolLM3๋Š” ํˆด ํ˜ธ์ถœ ์ž‘์—…์—์„œ ๋›ฐ์–ด๋‚œ ์„ฑ๋Šฅ์„ ๋ณด์ž…๋‹ˆ๋‹ค. ํ”„๋กฌํ”„ํŠธ ๊ธฐ๋ฐ˜ ์›Œํฌํ”Œ๋กœ์™€ ๊ตฌ์กฐํ™”๋œ ์ถœ๋ ฅ ๋ชจ๋‘๋ฅผ ์ง€์›ํ•˜๋ฉฐ, ์Šคํ‚ค๋งˆ ๊ธฐ๋ฐ˜ ์ž…๋ ฅ-์ถœ๋ ฅ ์ œ์•ฝ์„ ์ •ํ™•ํžˆ ๋”ฐ๋ฅด๊ณ , ์ž์œจ ์—์ด์ „ํŠธ๋‚˜ API ์ฃผ๋„ ํ™˜๊ฒฝ๊ณผ ๊ฐ™์€ ๊ฒฐ์ •์  ํ–‰๋™์ด ํ•„์š”ํ•œ ์‹œ์Šคํ…œ๊ณผ ์›ํ™œํ•˜๊ฒŒ ์ธํ„ฐํŽ˜์ด์Šคํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ์ˆ ์ ์ธ ํ›ˆ๋ จ ์„ธ๋ถ€์‚ฌํ•ญ SmolLM3๋Š” Hugging Face๊ฐ€ ํ๋ ˆ์ดํŒ…ํ•œ ๋‚ด๋ถ€ ํ˜ผํ•ฉ ๋ฐ์ดํ„ฐ๋กœ ํ›ˆ๋ จ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ด ๋ฐ์ดํ„ฐ๋Š” ๊ณ ํ’ˆ์งˆ ์›น ์ฝ˜ํ…์ธ , ์ฝ”๋“œ, ํ•™์ˆ  ๋…ผ๋ฌธ, ๊ทธ๋ฆฌ๊ณ  ๋‹ค๊ตญ์–ด ์ž๋ฃŒ๋ฅผ ํฌํ•จํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. 11์กฐ ๊ฐœ์˜ ํ† ํฐ์œผ๋กœ ์ด๋ฃจ์–ด์ง„ ํ›ˆ๋ จ์€ GPU ํด๋Ÿฌ์Šคํ„ฐ์—์„œ ๋‹ค๋…ธ๋“œ ๋ถ„์‚ฐ ํ›ˆ๋ จ ์ „๋žต์„ ์‚ฌ์šฉํ•˜์—ฌ ์ˆ˜ํ–‰๋˜์—ˆ์œผ๋ฉฐ, ๊ธด ์‹œํ€€์Šค ํ›ˆ๋ จ์„ ํšจ์œจ์ ์œผ๋กœ ์ˆ˜ํ–‰ํ•˜๊ธฐ ์œ„ํ•œ Flash Attention v2 ๊ฐ™์€ ์ตœ์ ํ™” ๊ธฐ๋ฒ•์ด ์ ์šฉ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ํ† ํฌ๋‚˜์ด์ €๋Š” ๋ชจ๋“  ์ง€์› ์–ธ์–ด์—์„œ ๊ณต์œ ๋˜๋Š” 128,000 ํ† ํฐ์˜ SentencePiece ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ์žฅ๋ฌธ ์ปจํ…์ŠคํŠธ ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•ด Hugging Face๋Š” ์„ ํ˜• ๋ฐ ๊ทธ๋ฃนํ™”๋œ ์–ดํ…์…˜ ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ์‚ฌ์šฉํ•˜์—ฌ ์ œ๊ณฑ ๋ณต์žก๋„๋ฅผ ์ตœ์†Œํ™”ํ•˜๋ฉด์„œ ์„ฑ๋Šฅ์„ ์œ ์ง€ํ•  ์ˆ˜ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. ์ด๋กœ ์ธํ•ด ๋ชจ๋ธ์€ ํ›ˆ๋ จ๊ณผ ์ถ”๋ก  ๊ณผ์ •์—์„œ ์ตœ๋Œ€ 128,000 ํ† ํฐ๊นŒ์ง€ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์ด๋Ÿฌํ•œ ๊ทœ๋ชจ์—์„œ๋Š” ๋ฉ”๋ชจ๋ฆฌ ๋ณ‘๋ชฉ ํ˜„์ƒ์„ ๊ฒช์ง€ ์•Š์Šต๋‹ˆ๋‹ค. SmolLM3-3B ์ง€์‹œ ์กฐ์ • ๋ณ€ํ˜•์€ Hugging Face์˜ trlx ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ฑ— ์ง€์‹œ, ์ถ”๋ก  ์ž‘์—…, ๊ทธ๋ฆฌ๊ณ  ํˆด ์‚ฌ์šฉ ์‹œ์—ฐ๊ณผ ์ผ์น˜ํ•˜๋„๋ก ์ถ”๊ฐ€ ํ›ˆ๋ จ์„ ๋ฐ›์•˜์Šต๋‹ˆ๋‹ค. ์„ฑ๋Šฅ ๋ฒค์น˜๋งˆํฌ SmolLM3๋Š” ์—ฌ๋Ÿฌ ๋‹ค๊ตญ์–ด ๋ฐ ์ถ”๋ก  ๋ฒค์น˜๋งˆํฌ์—์„œ ๊ฐ•ํ•œ ์„ฑ๋Šฅ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค. ์ตœ์‹  7B์™€ 13B ๋ชจ๋ธ๋“ค๋ณด๋‹ค๋Š” ๋ชจ๋“  ๋ฒค์น˜๋งˆํฌ์—์„œ ์ตœ์ƒ์˜ ์„ฑ๋Šฅ์„ ๋‚ด์ง€ ๋ชปํ•˜์ง€๋งŒ, ๋งค๊ฐœ๋ณ€์ˆ˜ ๋Œ€๋น„ ์„ฑ๋Šฅ ๋น„์œจ์€ ํ•ด๋‹น ํด๋ž˜์Šค์—์„œ ๊ฐ€์žฅ ๋†’์€ ํŽธ์ž…๋‹ˆ๋‹ค. ์‘์šฉ ๋ถ„์•ผ์™€ ์‚ฌ์šฉ ์‚ฌ๋ก€ SmolLM3๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์€ ์‘์šฉ ๋ถ„์•ผ์— ํŠนํžˆ ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค: - RAG ํŒŒ์ดํ”„๋ผ์ธ: ์žฅ๋ฌธ ์ปจํ…์ŠคํŠธ์™€ ๋‹ค๊ตญ์–ด ์ง€์›์œผ๋กœ ์ธํ•ด, ์ •๋ณด ๊ฒ€์ƒ‰๊ณผ ์ƒ์„ฑ์„ ๊ฒฐํ•ฉํ•˜๋Š” RAG ํŒŒ์ดํ”„๋ผ์ธ์— ์ด์ƒ์ ์ž…๋‹ˆ๋‹ค. - ์—์ด์ „ํŠธ ์›Œํฌํ”Œ๋กœ: ํˆด ์‚ฌ์šฉ๊ณผ ๊ฒฐ์ •์  ํ–‰๋™ ์š”๊ตฌ์‚ฌํ•ญ์„ ์ถฉ์กฑ์‹œํ‚ค๋Š” ๋Šฅ๋ ฅ์œผ๋กœ, ์ž์œจ ์—์ด์ „ํŠธ ์›Œํฌํ”Œ๋กœ์— ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค. - ์ฑ—๋ด‡ ๋ฐ ๋Œ€ํ™” ์‹œ์Šคํ…œ: ์ด์ค‘ ๋ชจ๋“œ ์ถ”๋ก ๊ณผ ๋‹ค๊ตญ์–ด ์ง€์›์œผ๋กœ, ๋‹ค์–‘ํ•œ ์–ธ์–ด์™€ ์ƒํ™ฉ์—์„œ ์‚ฌ์šฉ์ž์™€์˜ ์ž์—ฐ์Šค๋Ÿฌ์šด ๋Œ€ํ™”๋ฅผ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค. ๊ฒฐ๋ก ์ ์œผ๋กœ, SmolLM3๋Š” ํฌ๊ธฐ๋Š” ์ž‘์ง€๋งŒ ๋‹ค๊ตญ์–ด ์ง€์›, ์žฅ๋ฌธ ์ปจํ…์ŠคํŠธ ์ฒ˜๋ฆฌ, ๊ฐ•๋ ฅํ•œ ์ถ”๋ก  ๋Šฅ๋ ฅ์„ ๊ฐ–์ถ˜ ์ƒˆ๋กœ์šด ์„ธ๋Œ€์˜ ์–ธ์–ด ๋ชจ๋ธ์„ ๋Œ€ํ‘œํ•ฉ๋‹ˆ๋‹ค. ์ด ๋ชจ๋ธ์˜ ํšจ์œจ์„ฑ๊ณผ ์ ‘๊ทผ์„ฑ์€ Hugging Face๊ฐ€ ์ ์ ˆํ•œ ํ›ˆ๋ จ ๋ฐฉ๋ฒ•๊ณผ ์•„ํ‚คํ…์ฒ˜ ์„ค๊ณ„๋ฅผ ํ†ตํ•ด ์ž‘์€ ๋ชจ๋ธ์ด๋ผ๋„ ๋ณต์žกํ•œ ์ž‘์—…์—์„œ ๋›ฐ์–ด๋‚œ ์„ฑ๋Šฅ์„ ๋‚ผ ์ˆ˜ ์žˆ๋‹ค๋Š” ๊ฒƒ์„ ์ž…์ฆํ•ฉ๋‹ˆ๋‹ค. Hugging Face์—์„œ ๊ณต๊ฐœํ•œ SmolLM3 Base์™€ SmolLM3 Instruct ๋ชจ๋ธ์„ ํ™•์ธํ•ด๋ณด์„ธ์š”. ์ด ์—ฐ๊ตฌ์˜ ๋ชจ๋“  ๊ณต๋กœ๋Š” ํ•ด๋‹น ํ”„๋กœ์ ํŠธ์˜ ์—ฐ๊ตฌ์ง„์—๊ฒŒ ๋Œ์•„๊ฐ‘๋‹ˆ๋‹ค. ๋˜ํ•œ Twitter์™€ YouTube๋ฅผ ํŒ”๋กœ์šฐํ•˜๊ณ , 100,000๋ช… ์ด์ƒ์˜ ML SubReddit์— ๊ฐ€์ž…ํ•˜๋ฉฐ, ๋‰ด์Šค๋ ˆํ„ฐ๋ฅผ ๊ตฌ๋…ํ•ด์ฃผ์„ธ์š”.

Related Links