HyperAIHyperAI

Command Palette

Search for a command to run...

1000조 파라미터 트랜스포머 학습법 제시

큐랩스 연구팀은 대규모 언어모델의 표본 효율 격차를 줄이기 위해 데이터가 제한된 다중 반복 학습 환경에서도 모델 크기를 크게 늘리고 앙상블을 확장하는 새로운 확장 법칙과 훈련 처방을 제시했다. 해당 연구는 2026년 바론 등 연구팀의 논문으로, 기존 친칠라 법칙이 약 30조 토큰에 약 1조5000억 파라미터 모델을 권장해 토큰당 파라미터 비율이 20대1인 반면, 인간 뇌는 약 100조 개의 시냅스 단위 파라미터로 약 2억 토큰에서 학습하므로 토큰당 파라미터 격차가 천만 배에 이른다고 지적했다. 연구팀은 고품질 언어 데이터 공급이 연산 능력 증가보다 느려지는 흐름에 주목해 고정된 학습 데이터에서 모델 크기, 학습 반복 횟수, 앙상블 구성원을 동시에 늘릴 때 손실 변화를 예측하는 단일 법칙을 도출했다. 이 법칙은 모델 크기와 데이터의 영향에 더해 반복 학습에 따른 과적합 벌점과 모델 앙상블로 인한 손실 감소 효과를 반영한다. 5조 토큰, 연산량 약 10의 29제곱 조건으로 확장하면 앙상블 전체가 토큰당 300개 이상 파라미터를 보유하며, 이는 친칠라 처방보다 약 7000배 큰 규모다. 모델 크기와 반복 횟수는 연산량이 커져도 계속 확대하는 것이 최적으로 제시됐다. 또한 최적의 가중치 감쇠 강도는 모델 크기와 반복 횟수에 따라 빠르게 증가해야 한다고 밝혔다. 고정 하이퍼파라미터 규칙이나 기존 전이 방식과 달리 새 법칙은 연산량을 16배로 늘린 실험에서도 최적 손실에 근접했으며, 각 변수 축에서 0.01 내트 이내 오차를 보였다. 연구팀은 저장본 앙상블과 심층 앙상블을 확장 축으로 활용했다. 저장본 앙상블은 한 학습 과정에서 주기적 학습률을 적용해 저장한 저장 지점을 평균내는 방식으로 추가 연산 없이 손실을 줄인다. 심층 앙상블은 독립적 모델을 여러 개 학습해 예측을 평균내며, 과적합을 늘리는 단순 파라미터 확대와 달리 구성원 증가가 과적합을 완화한다. 연구팀은 제한된 데이터 환경에서는 먼저 모델 크기와 반복 횟수를 키우고 가중치 감쇠를 강화한 뒤, 남은 연산량을 심층 앙상블 구성원에 배분하는 전략이 효과적이라고 제시했다. 이 접근은 연산량이 커질수록 손실이 계속 감소하게 하며, 향후 인공지능의 데이터 효율을 크게 개선하고 극대형 모델 훈련의 방향을 바꿀 잠재력으로 평가된다.

관련 링크