「小さなモデルが大規模モデルを凌ぐ――階層的推論が切り拓くAIの次世代アーキテクチャ」
近年、AIの発展は「規模の拡大」に依存してきたが、OpenAIの共同創業者アンドレイ・カーパティ氏をはじめとする研究者らは、その限界に警鐘を鳴らしている。従来の大規模言語モデル(LLM)は、膨大なパラメータとデータで学習され、問題解決の際には「一言一句、段階的に言語で考える」(Chain-of-Thought)方式を取るが、これは人間の直感的な思考とは異なり、無駄なトークンを生成し、誤った推論を引き起こす要因となる。実際、多くの最先端モデルはパラメータ数が過剰で、実際の訓練量は不足しており、単なる「模倣」にとどまっている。 こうした課題に対し、Wangら(2025)が提唱する「階層的推論モデル(HRM)」は、根本的なアプローチの転換を図っている。HRMは、言語による「考える過程」ではなく、内部の高次元の潜在空間で静かに、かつ柔軟に推論を行う。このモデルは、高レベルの戦略を立てる「Hモジュール」と、その戦略を実行する低レベルの「Lモジュール」から構成され、反復的なサイクルで問題を解いていく。例えば30×30の迷路問題では、Hモジュールが「右下方向に進む」といった抽象的な計画を立て、Lモジュールが実際に探索・バックトラックを繰り返す。その後、結果を評価し、Hモジュールが戦略を更新する。このプロセスを繰り返すことで、複雑な問題に適応する。 HRMの最大の特徴は「適応的計算時間(ACT)」である。モデルは各段階で「答えに自信があるか」を判断し、簡単な問題では早く終了し、難しい問題では継続して推論する。これにより、固定ステップのモデルと比べて平均で約75%の計算リソースを削減しながら、同等の精度を達成している。 実験では、HRMはSudokuや迷路、抽象的推論を要するARC-AGIベンチマークで、パラメータ数2700万のわずかな規模で、o3-miniやClaude 3.7といった大規模モデルを上回る性能を発揮。特にARC-AGIでは40.3%の正解率を記録し、計算リソースの効率性と推論の深さの両立を実証した。 HRMは、単なる「サイズ」ではなく「構造」の革新によって、真の推論力と効率性を実現した。AIの未来は、規模の拡大ではなく、人間の思考に近い「内面的な推論」の設計にかかっている。
