IBM, 'Granite 4.1' 대형 언어 모델 출시
아이비엠은 고품질 데이터를 강조한 독자적인 파이프라인을 통해 구축한 '그라나이트 4.1' LLM 시리즈를 발표했습니다. 이번 업데이트는 3B, 8B, 30B 파라미터 크기의 세 가지 밀집형 디코더 전용 모델을 포함하며, 모두 Apache 2.0 라이선스로 오픈소스로 배포됩니다. 특히 8B 모델은 32B 크기의 기존 MoE 모델보다 적은 파라미터로도 수학, 코드, 명령어 추종 등 다양한 벤치마크에서 동등하거나 우수한 성능을 발휘하여 효율적인 엔터프라이즈 활용을 가능하게 합니다. 모델 학습은 약 15조 개의 토큰을 사용한 5 단계 프리트레이닝 파이프라인으로 시작됩니다. 초기 단계에서는 광범위한 웹 데이터를 기반으로 기초 언어 이해력을 다지며, 이어 수학 및 코딩 데이터 비중을 높여 추론 능력을 강화합니다. 이후 고품질 데이터를 선별하는 중기 학습 단계를 거쳐 최종적으로 512K 토큰까지 확장된 긴 문맥 처리 능력을 획득합니다. 특히 긴 문맥 학습 단계에서는 성능 저하를 방지하기 위해 각 확장 단계마다 모델 병합을 수행하여 단기 문맥 성능도 유지합니다. 프리트레이닝 이후, 모델은 약 410 만 개의 고품질 데이터로 세밀하게 조정되는 감독 학습 미세 조정을 거칩니다. 이 과정에서는 LLM을 심사자로 활용하여 응답의 정확성, 완성도, 자연스러움 등을 다각도로 평가하고, 환각이나 오계산과 같은 결함이 있는 샘플은 자동 제거하는 엄격한 품질 관리 프로세스를 적용합니다. 그 이후에는 강화학습을 통해 모델의 능력을 극대화합니다. 이 강화학습은 다중 도메인 학습, RLHF, 지식 교정, 수학 특화 학습 등 4 단계로 나누어 수행되며, 이를 통해 범용 능력과 특정 분야에서의 성능 균형을 맞추었습니다. 벤치마크 결과에 따르면, 그라나이트 4.1 8B 인스트럭션 모델은 MMLU-Pro, BBH, GSM8K, HumanEval 등 주요 과제에서 이전 세대보다 월등히 뛰어난 점수를 기록했습니다. 특히 수학 및 코딩 분야에서 기존 대규모 모델들을 압도하는 성과를 보였으며, 도구 호출 기능 역시 정확도가 높습니다. 또한 FP8 양자화 버전을 제공하여 GPU 메모리 사용량과 저장 공간을 기존 대비 약 50% 줄여 인추런 비용을 크게 낮췄습니다. 이 모델은 영어를 비롯해 독일어, 프랑스어, 중국어, 아랍어 등 12 개 이상의 언어를 지원하며, 긴 사고 과정을 거치지 않고도 예측 가능한 지연 시간과 낮은 비용으로 안정적인 추론이 가능합니다. 이는 클라우드 비용 절감과 실시간 처리가 필요한 기업 환경에 매우 적합한 솔루션을 제시하며, 고품질 데이터와 정교한 학습 전략이 작은 규모의 모델로도 경쟁력을 확보할 수 있음을 증명했습니다.
