Alexia Jolicoeur-Martineau

要約

階層的推論モデル（HRM）は、異なる周波数で再帰的に動作する2つの小さなニューラルネットワークを用いる画期的なアプローチである。この生物学的にインスパイアされた手法は、数独や迷路、ARC-AGIといった難易度の高いパズル問題において、大規模言語モデル（LLM）を上回る性能を発揮する一方で、わずか2700万パラメータの小規模なモデルと、約1000件程度の小規模データで学習されている。HRMは、小さなネットワークで難問を解く可能性を秘めており、大きな期待が寄せられているが、そのメカニズムはまだ十分に解明されておらず、最適な構造とは限らない可能性がある。そこで本研究では、より単純な再帰的推論アプローチである「Tiny Recursive Model（TRM）」を提案する。TRMは、たった2層の極小ネットワークを1つだけ用いることで、HRMよりも顕著に高い汎化性能を達成している。わずか700万パラメータで、ARC-AGI-1では45%、ARC-AGI-2では8%のテスト正解率を達成し、パラメータ数がそれらの100分の1未満（0.01%未満）であるにもかかわらず、Deepseek R1、o3-mini、Gemini 2.5 Proなど多数のLLMを上回る性能を発揮している。