초소형 모델이 거대 LLM을 압도하다: 2700만 파라미터로 뚫은 인공지능의 새로운 지평

작은 크기의 모델이 거대한 언어모델을 압도하는 사례가 등장했다. '계층적 추론 모델(HRM)'은 단 2700만 파라미터로, 기존의 수조 개에 달하는 파라미터를 가진 대형 모델들과는 극명한 대비를 이룬다. 훈련 데이터도 작아 주말 동안 완료할 수 있을 정도로 적다. 개발자 중 한 명인 왕관(구안 왕)은 이 모델이 프로급 스도쿠 문제를 두 GPU 시간 내에 해결할 수 있다고 밝혔다. 이는 기술 설정에 시간을 보내는 데만도 수 시간이 걸리는 상황과 비교해 놀라운 성능이다. 성능은 더욱 놀랍다. 인공지능의 지능 수준을 측정하는 ARC-AGI 테스트에서 HRM은 40.3%의 점수를 기록하며, 클로드 3.7(21.2%)과 오픈AI의 o3-mini-high(34.5%)를 압도했다. 특히 스도쿠-익스트림과 30×30 크기의 복잡한 미로 문제에서는 HRM이 각각 55%, 74.5%의 정확도를 보였고, 경쟁 모델들은 모두 0%를 기록했다. 이는 단순한 효율성 이상의 의미를 지닌다. HRM은 계층적 추론 구조를 통해 문제 해결의 전략적 깊이를 높이며, 정보의 양보다 ‘어떻게 생각하는가’에 집중한 새로운 패러다임을 제시한다. 이는 AI의 진화가 항상 ‘크고 무거운 것’이 아니라, ‘지능적인 구조’를 가진 작지만 똑똑한 모델로 나아가고 있음을 보여준다.