๐ค Hugging Face, 30์ต ํ๋ผ๋ฏธํฐ์ ๋ค๊ตญ์ด ์ฅ๋ฌธ ์ฒ๋ฆฌ ๋ชจ๋ธ SmolLM3 ์ถ์
Hugging Face๊ฐ ์ต๊ทผ 'SmolLM3'๋ผ๋ ์๋ก์ด ์ธ์ด ๋ชจ๋ธ์ ์ถ์ํ์ต๋๋ค. 'Smol' ์๋ฆฌ์ฆ์ ์ต์ ๋ฒ์ ์ธ SmolLM3๋ 30์ต ๊ฐ์ ๋งค๊ฐ๋ณ์๋ก, ์ฅ๋ฌธ ์ปจํ ์คํธ์ ๋ค๊ตญ์ด ์ถ๋ก ์ ํจ๊ณผ์ ์ผ๋ก ์ํํ๋๋ก ์ค๊ณ๋์์ต๋๋ค. ์ผ๋ฐ์ ์ผ๋ก ๊ณ ์ปจํ ์คํธ ์ฒ๋ฆฌ ๋ฅ๋ ฅ์ ๊ฐ์ง ๋ชจ๋ธ๋ค์ 70์ต ๊ฐ ์ด์์ ๋งค๊ฐ๋ณ์๋ฅผ ํ์๋ก ํ์ง๋ง, SmolLM3๋ ์ด๋ณด๋ค ํจ์ฌ ์ ์ ๋งค๊ฐ๋ณ์๋ก๋ ์ต์์ ์ฑ๋ฅ์ ์ ๊ณตํฉ๋๋ค. ์ด๋ ๋น์ฉ ํจ์จ์ฑ์ ๋์ด๊ณ ์ ํ๋ ํ๋์จ์ด์์๋ ์ฝ๊ฒ ๋ฐฐํฌํ ์ ์๋ค๋ ์ฅ์ ์ด ์์ต๋๋ค. SmolLM3 ๊ฐ์ SmolLM3๋ ๋จ 30์ต ๊ฐ์ ๋งค๊ฐ๋ณ์๋ก 128,000 ํ ํฐ๊น์ง ์ฒ๋ฆฌํ ์ ์๋ ์ฅ๋ฌธ ์ปจํ ์คํธ์ ๋ค๊ตญ์ด ์ถ๋ก ์ ์ง์ํ๋ ํ์ ์ ์ธ ๋ชจ๋ธ์ ๋๋ค. ์ด ๋ชจ๋ธ์ 11์กฐ ๊ฐ์ ํ ํฐ์ผ๋ก ํ๋ จ๋์์ผ๋ฉฐ, Mistral, LLaMA 2, Falcon๊ณผ ๊ฐ์ ๋ชจ๋ธ๋ค๊ณผ ๊ฒฝ์๋ ฅ์ ๊ฐ์ง๋ ์ฑ๋ฅ์ ๋ณด์ฌ์ค๋๋ค. SmolLM3๋ ํฌ๊ธฐ์๋ ๋ถ๊ตฌํ๊ณ ํด ์ฌ์ฉ, ์๋ ์ํ ์ถ๋ก ๋ฑ์ ๋ฅ๋ ฅ์ด ๋ฐ์ด๋๋ฉฐ, ์ด๋ ์ผ๋ฐ์ ์ผ๋ก ๋์ธ๋ฐฐ ํฌ๊ธฐ์ ๋ชจ๋ธ์์๋ง ๋ณผ ์ ์๋ ํน์ฑ์ ๋๋ค. SmolLM3์ ์ฃผ์ ๊ธฐ๋ฅ ์ฅ๋ฌธ ์ปจํ ์คํธ ์ถ๋ก (์ต๋ 128,000 ํ ํฐ) SmolLM3๋ ์์ ๋ ์ดํ ์ ๋ฉ์ปค๋์ฆ์ ์ฌ์ฉํ์ฌ ๋งค์ฐ ๊ธด ์ปจํ ์คํธ(์ต๋ 128,000 ํ ํฐ)๋ฅผ ํจ์จ์ ์ผ๋ก ์ฒ๋ฆฌํ ์ ์์ต๋๋ค. ์ด ๊ธฐ๋ฅ์ ์ฐ์ฅ๋ ๋ฌธ์, ๋ก๊ทธ, ๋๋ ๊ตฌ์กฐํ๋ ๊ธฐ๋ก์ ์ฒ๋ฆฌํ๋ ์์ ์์ ํนํ ์ค์ํ๋ฉฐ, ์ปจํ ์คํธ ๊ธธ์ด๊ฐ ์ดํด๋์ ์ ํ๋์ ์ง์ ์ ์ธ ์ํฅ์ ๋ฏธ์นฉ๋๋ค. ์ด์ค ๋ชจ๋ ์ถ๋ก SmolLM3-3B๋ ์ง์ ์กฐ์ ๋ ๋ณํ์ผ๋ก, ์ด์ค ๋ชจ๋ ์ถ๋ก ์ ์ง์ํฉ๋๋ค. ์ด ๋ชจ๋ธ์ ๊ฐ๋ฐฉํ ์์ฑ๊ณผ ๊ตฌ์กฐํ๋ ์ถ๋ก ์ ๋ชจ๋ ์ ์ํํ์ฌ, RAG ํ์ดํ๋ผ์ธ๋ถํฐ ์์ด์ ํธ ์ํฌํ๋ก๊น์ง ๋ค์ํ ์์ฉ ๋ถ์ผ์ ์ ํฉํฉ๋๋ค. ๋ค๊ตญ์ด ์ง์ SmolLM3๋ ์์ด, ํ๋์ค์ด, ์คํ์ธ์ด, ๋ ์ผ์ด, ์ดํ๋ฆฌ์์ด, ํฌ๋ฅดํฌ๊ฐ์ด ๋ฑ 6๊ฐ ์ธ์ด๋ฅผ ์ง์ํฉ๋๋ค. XQuAD์ MGSM์ ๊ฐ์ ๋ค๊ตญ์ด ๋ฒค์น๋งํฌ์์ ์ฐ์ํ ์ฑ๋ฅ์ ๋ณด์ฌ์ฃผ๋ฉฐ, ์ธ์ด ๊ฐ ์ฑ๋ฅ ์ ํ๊ฐ ์ต์ํ๋์ด ์์ต๋๋ค. ๋งค๊ฐ๋ณ์ ์๊ฐ ์ ์ง๋ง ์ต์์ ์ฑ๋ฅ 30์ต ๊ฐ์ ๋งค๊ฐ๋ณ์๋ก ๊ตฌ์ฑ๋ SmolLM3๋ Mistral-7B์ ๊ฐ์ ๋ ํฐ ๋ชจ๋ธ๋ค์์ ๋ณผ ์ ์๋ ์ฑ๋ฅ์ ๊ทผ์ ํ๊ฑฐ๋ ๋น๊ฒฌ๋๋ ๊ฒฐ๊ณผ๋ฅผ ๋ด๋์ต๋๋ค. ์ด๋ 11์กฐ ๊ฐ์ ํ ํฐ์ผ๋ก ๊ตฌ์ฑ๋ ๊ณ ํ์ง ํ๋ จ ๋ฐ์ดํฐ์ ์ ๊ฒฝ๋ง ์ํคํ ์ฒ์ ์ธ์ฌํ ์กฐ์ ๋๋ถ์ ๋๋ค. ํด ์ฌ์ฉ๊ณผ ๊ตฌ์กฐํ๋ ์ถ๋ ฅ SmolLM3๋ ํด ํธ์ถ ์์ ์์ ๋ฐ์ด๋ ์ฑ๋ฅ์ ๋ณด์ ๋๋ค. ํ๋กฌํํธ ๊ธฐ๋ฐ ์ํฌํ๋ก์ ๊ตฌ์กฐํ๋ ์ถ๋ ฅ ๋ชจ๋๋ฅผ ์ง์ํ๋ฉฐ, ์คํค๋ง ๊ธฐ๋ฐ ์ ๋ ฅ-์ถ๋ ฅ ์ ์ฝ์ ์ ํํ ๋ฐ๋ฅด๊ณ , ์์จ ์์ด์ ํธ๋ API ์ฃผ๋ ํ๊ฒฝ๊ณผ ๊ฐ์ ๊ฒฐ์ ์ ํ๋์ด ํ์ํ ์์คํ ๊ณผ ์ํํ๊ฒ ์ธํฐํ์ด์คํฉ๋๋ค. ๊ธฐ์ ์ ์ธ ํ๋ จ ์ธ๋ถ์ฌํญ SmolLM3๋ Hugging Face๊ฐ ํ๋ ์ดํ ํ ๋ด๋ถ ํผํฉ ๋ฐ์ดํฐ๋ก ํ๋ จ๋์์ต๋๋ค. ์ด ๋ฐ์ดํฐ๋ ๊ณ ํ์ง ์น ์ฝํ ์ธ , ์ฝ๋, ํ์ ๋ ผ๋ฌธ, ๊ทธ๋ฆฌ๊ณ ๋ค๊ตญ์ด ์๋ฃ๋ฅผ ํฌํจํ๊ณ ์์ต๋๋ค. 11์กฐ ๊ฐ์ ํ ํฐ์ผ๋ก ์ด๋ฃจ์ด์ง ํ๋ จ์ GPU ํด๋ฌ์คํฐ์์ ๋ค๋ ธ๋ ๋ถ์ฐ ํ๋ จ ์ ๋ต์ ์ฌ์ฉํ์ฌ ์ํ๋์์ผ๋ฉฐ, ๊ธด ์ํ์ค ํ๋ จ์ ํจ์จ์ ์ผ๋ก ์ํํ๊ธฐ ์ํ Flash Attention v2 ๊ฐ์ ์ต์ ํ ๊ธฐ๋ฒ์ด ์ ์ฉ๋์์ต๋๋ค. ํ ํฌ๋์ด์ ๋ ๋ชจ๋ ์ง์ ์ธ์ด์์ ๊ณต์ ๋๋ 128,000 ํ ํฐ์ SentencePiece ๋ชจ๋ธ์ ๋๋ค. ์ฅ๋ฌธ ์ปจํ ์คํธ ์ฒ๋ฆฌ๋ฅผ ์ํด Hugging Face๋ ์ ํ ๋ฐ ๊ทธ๋ฃนํ๋ ์ดํ ์ ๋ฉ์ปค๋์ฆ์ ์ฌ์ฉํ์ฌ ์ ๊ณฑ ๋ณต์ก๋๋ฅผ ์ต์ํํ๋ฉด์ ์ฑ๋ฅ์ ์ ์งํ ์ ์์์ต๋๋ค. ์ด๋ก ์ธํด ๋ชจ๋ธ์ ํ๋ จ๊ณผ ์ถ๋ก ๊ณผ์ ์์ ์ต๋ 128,000 ํ ํฐ๊น์ง ์ฒ๋ฆฌํ ์ ์์ผ๋ฉฐ, ์ด๋ฌํ ๊ท๋ชจ์์๋ ๋ฉ๋ชจ๋ฆฌ ๋ณ๋ชฉ ํ์์ ๊ฒช์ง ์์ต๋๋ค. SmolLM3-3B ์ง์ ์กฐ์ ๋ณํ์ Hugging Face์ trlx ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉํ์ฌ ์ฑ ์ง์, ์ถ๋ก ์์ , ๊ทธ๋ฆฌ๊ณ ํด ์ฌ์ฉ ์์ฐ๊ณผ ์ผ์นํ๋๋ก ์ถ๊ฐ ํ๋ จ์ ๋ฐ์์ต๋๋ค. ์ฑ๋ฅ ๋ฒค์น๋งํฌ SmolLM3๋ ์ฌ๋ฌ ๋ค๊ตญ์ด ๋ฐ ์ถ๋ก ๋ฒค์น๋งํฌ์์ ๊ฐํ ์ฑ๋ฅ์ ๋ณด์ฌ์ค๋๋ค. ์ต์ 7B์ 13B ๋ชจ๋ธ๋ค๋ณด๋ค๋ ๋ชจ๋ ๋ฒค์น๋งํฌ์์ ์ต์์ ์ฑ๋ฅ์ ๋ด์ง ๋ชปํ์ง๋ง, ๋งค๊ฐ๋ณ์ ๋๋น ์ฑ๋ฅ ๋น์จ์ ํด๋น ํด๋์ค์์ ๊ฐ์ฅ ๋์ ํธ์ ๋๋ค. ์์ฉ ๋ถ์ผ์ ์ฌ์ฉ ์ฌ๋ก SmolLM3๋ ๋ค์๊ณผ ๊ฐ์ ์์ฉ ๋ถ์ผ์ ํนํ ์ ํฉํฉ๋๋ค: - RAG ํ์ดํ๋ผ์ธ: ์ฅ๋ฌธ ์ปจํ ์คํธ์ ๋ค๊ตญ์ด ์ง์์ผ๋ก ์ธํด, ์ ๋ณด ๊ฒ์๊ณผ ์์ฑ์ ๊ฒฐํฉํ๋ RAG ํ์ดํ๋ผ์ธ์ ์ด์์ ์ ๋๋ค. - ์์ด์ ํธ ์ํฌํ๋ก: ํด ์ฌ์ฉ๊ณผ ๊ฒฐ์ ์ ํ๋ ์๊ตฌ์ฌํญ์ ์ถฉ์กฑ์ํค๋ ๋ฅ๋ ฅ์ผ๋ก, ์์จ ์์ด์ ํธ ์ํฌํ๋ก์ ์ ์ฉํฉ๋๋ค. - ์ฑ๋ด ๋ฐ ๋ํ ์์คํ : ์ด์ค ๋ชจ๋ ์ถ๋ก ๊ณผ ๋ค๊ตญ์ด ์ง์์ผ๋ก, ๋ค์ํ ์ธ์ด์ ์ํฉ์์ ์ฌ์ฉ์์์ ์์ฐ์ค๋ฌ์ด ๋ํ๋ฅผ ๊ฐ๋ฅํ๊ฒ ํฉ๋๋ค. ๊ฒฐ๋ก ์ ์ผ๋ก, SmolLM3๋ ํฌ๊ธฐ๋ ์์ง๋ง ๋ค๊ตญ์ด ์ง์, ์ฅ๋ฌธ ์ปจํ ์คํธ ์ฒ๋ฆฌ, ๊ฐ๋ ฅํ ์ถ๋ก ๋ฅ๋ ฅ์ ๊ฐ์ถ ์๋ก์ด ์ธ๋์ ์ธ์ด ๋ชจ๋ธ์ ๋ํํฉ๋๋ค. ์ด ๋ชจ๋ธ์ ํจ์จ์ฑ๊ณผ ์ ๊ทผ์ฑ์ Hugging Face๊ฐ ์ ์ ํ ํ๋ จ ๋ฐฉ๋ฒ๊ณผ ์ํคํ ์ฒ ์ค๊ณ๋ฅผ ํตํด ์์ ๋ชจ๋ธ์ด๋ผ๋ ๋ณต์กํ ์์ ์์ ๋ฐ์ด๋ ์ฑ๋ฅ์ ๋ผ ์ ์๋ค๋ ๊ฒ์ ์ ์ฆํฉ๋๋ค. Hugging Face์์ ๊ณต๊ฐํ SmolLM3 Base์ SmolLM3 Instruct ๋ชจ๋ธ์ ํ์ธํด๋ณด์ธ์. ์ด ์ฐ๊ตฌ์ ๋ชจ๋ ๊ณต๋ก๋ ํด๋น ํ๋ก์ ํธ์ ์ฐ๊ตฌ์ง์๊ฒ ๋์๊ฐ๋๋ค. ๋ํ Twitter์ YouTube๋ฅผ ํ๋ก์ฐํ๊ณ , 100,000๋ช ์ด์์ ML SubReddit์ ๊ฐ์ ํ๋ฉฐ, ๋ด์ค๋ ํฐ๋ฅผ ๊ตฌ๋ ํด์ฃผ์ธ์.