청화대 00후 학생, 2700만 파라미터로 o3와 Claude 이기다

00년대생 청화대 학생이 2700만 파라미터로 o3와 Claude를 물리친 Transformer 청화대의 00년대생 학생들이 개발한 HRM(Highly Resource-constrained Memory) 모델은 2700만 파라미터로 기존의 대규모 Transformer 모델들을 능가하는 성능을 보여주며 주목받고 있다. 이 모델은 메모리 제약과 계산 효율성을 극복하는 데 중점을 두어 설계되었으며, 특히 실시간 응용 프로그램에서 유용하게 활용될 수 있다. HRM의 핵심 특징은 그래픽 칩의 완벽한 활용성이다. 초기 Transformer 모델들은 순환 신경망 구조를 사용해 훈련되는데, 이로 인해 오랜 시간 동안 메모리를 집중적으로 사용하는 문제가 있었다. 따라서, 이러한 모델들은 깊이가 증가할수록 계산 효율성이 저하되는 한계를 가지고 있었다. HRM은 이러한 문제를 해결하기 위해 두 가지 주요 전략을 사용한다. 첫째, 메모리 제약 내에서 긴 추론 과정을 수행할 수 있도록 설계되었다. 둘째, 그래픽 칩의 계단형 감시 신호를 활용해 훈련 과정을 최적화한다. HRM은 연속적인 공간에서 자연스럽게 작동하는 메커니즘을 통해 생물학적인 합리성을 더했다. 일반적인 훈련 방법 외에도, 강화 학습을 통해 기존의 사고 체인 능력을 확장할 수 있다. 그러나 강화 학습과 사고 체인 훈련의 조합은 안정성과 데이터 효율성 문제를 야기할 수 있어, 많은 탐색과 정교한 보상 설계가 필요하다. HRM은 이 문제를 해결하기 위해 밀집된 계단형 감시 신호를 활용하여, 각 토큰에 대해 평등한 처리를 피하면서 추론과 계획 복잡도의 차이에 따라 동적으로 계산 자원을 할당한다. 이러한 접근법은 HRM이 통용 계산과 통용 추론 시스템 면에서 잠재력을 드러냈다. HRM의 개발자들은 Google Scholar, LinkedIn 등을 통해 공개된 여러 연구 결과를 바탕으로 이 모델의 효과를 입증했다. 특히, 최근 연구 자료는 HRM이 기존의 Transformer 모델들보다 우월한 성능을 보임을 증명하고 있다. 이 결과는 HRM이 저자원 환경에서도 효과적으로 작동할 수 있음을 나타내며, AI 모델의 효율성을 크게 향상시키는 가능성을 제시하고 있다. 업계 전문가들은 HRM의 개발이 AI 분야에서 큰 진전을 가져올 것으로 평가하고 있다. 이 모델은 저자원 환경에서의 성능 향상을 통해, 특히 모바일 디바이스나 임베디드 시스템에서의 활용성이 높아질 것으로 기대된다. 청화대 학생들의 이번 성과는 AI 연구의 새로운 방향성을 제시하며, 기술 혁신의 중심에서 젊은 연구자들의 역량을 확인할 수 있는 좋은 예시다.