Alexia Jolicoeur-Martineau

Abstract

Das hierarchische Schlussfolgerungsmodell (Hierarchical Reasoning Model, HRM) ist ein neuartiger Ansatz, der zwei kleine neuronale Netzwerke verwendet, die mit unterschiedlichen Frequenzen rekursiv arbeiten. Dies biologisch inspirierter Ansatz übertrifft große Sprachmodelle (Large Language Models, LLMs) bei anspruchsvollen Rätselaufgaben wie Sudoku, Labyrinthen und ARC-AGI – und das, obwohl er mit kleinen Modellen (27 M Parameter) und nur begrenzten Daten (etwa 1000 Beispiele) trainiert wurde. HRM bietet großes Potenzial, komplexe Probleme mit kleinen Netzwerken zu lösen, ist jedoch bisher noch nicht hinreichend verstanden und könnte suboptimal sein. Wir stellen das Tiny Recursive Model (TRM) vor, einen wesentlich einfacheren rekursiven Schlussfolgerungsansatz, der eine deutlich höhere Verallgemeinerungsfähigkeit als HRM erreicht, und zwar mit einem einzigen winzigen Netzwerk mit nur zwei Schichten. Mit lediglich 7 M Parametern erzielt TRM eine Testgenauigkeit von 45 % auf ARC-AGI-1 und 8 % auf ARC-AGI-2 – Werte, die höher sind als die der meisten LLMs (z. B. Deepseek R1, o3-mini, Gemini 2.5 Pro), obwohl TRM weniger als 0,01 % der Parameter dieser Modelle verwendet.