小さなパラメータで大躍進!HRMが巨大LLMを凌駕する階層的推論モデルの登場
6日前
「階層的推論モデル」(HRM)が、大規模言語モデル(LLM)の限界を露呈させている。従来のAIモデル開発の常套手段——膨大なパラメータ数、巨額の計算資源、長時間のトレーニング——とは一線を画す、驚きのシンプルさで登場した。HRMはわずか2700万パラメータにすぎず、週末の1日程度で学習データを処理可能。開発者のGuan Wang氏によれば、プロ級の数独(Sudoku)問題を解く能力を、2時間のGPUトレーニングで獲得できるという。 その性能は、驚異的だ。AIの知能水準を測る指標であるARC-AGIテストで、HRMは40.3%の正解率を記録。Claude 3.7は21.2%、OpenAIのo3-mini-highも34.5%にとどまる。特に厳しい「Sudoku-Extreme」では、HRMが55%の問題を正解。他モデルはすべてゼロ。30×30の巨大迷路でも、HRMは最適経路を74.5%の確率で発見。他の大規模モデルは依然として完全に失敗している。 この結果は、単なるパラメータの多さではなく、構造的な推論設計の質がAIの知能に決定的な影響を与えることを示している。HRMは、問題を階層的に分解し、段階的に推論を進めるアーキテクチャを持つ。これは、大規模モデルが「大量の事実を記憶してごまかす」のに対し、HRMが「本当に考える」仕組みであることを意味する。 Guan Wang氏らの研究は、AIの進化に「より小さく、より賢い」アプローチが有効である可能性を示している。今後のAI開発は、単なる「規模の拡大」から、「知能の質」の追求へとシフトしつつある。HRMは、巨大なLLMに「恥をかかせる」小さな脳の真の力を見せつけた。
Related Links
Generative Al Community