Falcons-H1: 효율성과 성능을 재정의하는 하이브리드 헤드 언어 모델 가족

본 보고서에서는 다양한 사용 사례에서 높은 성능과 효율성을 동시에 달성하도록 최적화된 하이브리드 아키텍처를 특징으로 하는 새로운 대규모 언어 모델(Falcon-H1) 시리즈를 소개한다. 기존의 단일 Transformer 또는 Mamba 아키텍처에 기반한 Falcon 모델들과 달리, Falcon-H1은 Transformer 기반의 어텐션과 상태공간 모델(State Space Models, SSM)을 병렬로 결합한 하이브리드 접근 방식을 채택하였다. SSM은 장기적 컨텍스트 기억 능력과 뛰어난 계산 효율성으로 유명하다. 우리는 모델 설계, 데이터 전략, 학습 동역학 등에 대해 체계적으로 재검토하며, 이 분야의 기존 관행에 도전하였다. Falcon-H1은 0.5B, 1.5B, 1.5B-Deep, 3B, 7B, 34B 파라미터 규모의 베이스 모델 및 지시어 튜닝(instruction-tuned) 버전을 포함한 여러 구성으로 공개되었으며, 양자화된 지시어 튜닝 모델도 제공되어 허깅페이스 허브(Hugging Face Hub)에 총 30개 이상의 체크포인트가 제공된다. Falcon-H1 모델은 최첨단 성능과 뛰어난 파라미터 및 학습 효율성을 입증하였다. 주력 모델인 Falcon-H1-34B는 Qwen3-32B, Qwen2.5-72B, Llama3.3-70B와 같은 최대 70B 규모의 모델들과 비교해도 성능이 동등하거나 우수하며, 더 적은 파라미터와 데이터로도 이를 달성하였다. 소형 모델 역시 유사한 추세를 보였다. Falcon-H1-1.5B-Deep는 현재 최고 수준의 7B~10B 규모 모델들과 경쟁 가능하며, Falcon-H1-0.5B는 2024년 기준 일반적인 7B 규모 모델과 비슷한 성능을 발휘한다. 이러한 모델들은 추론, 수학, 다국어 작업, 지시어 따르기, 과학 지식 등 다양한 분야에서 뛰어난 성능을 보였다. 최대 256K 컨텍스트 토큰 및 18개 언어를 지원함에 따라 Falcon-H1은 광범위한 응용 분야에 적합하다. 모든 모델은 유연한 오픈소스 라이선스 하에 공개되어, 접근성과 영향력 있는 AI 연구에 대한 우리의 약속을 강조한다.