Alexia Jolicoeur-Martineau

Résumé

Le Modèle de raisonnement hiérarchique (HRM) est une nouvelle approche fondée sur deux réseaux de neurones de petite taille qui s’auto-répètent à des fréquences différentes. Inspirée de la biologie, cette méthode surpasse les grands modèles linguistiques (LLM) sur des tâches complexes telles que le Sudoku, les labyrinthes et ARC-AGI, tout en étant entraînée avec des modèles réduits (27 millions de paramètres) sur de petits jeux de données (environ 1 000 exemples). Le HRM s’annonce prometteur pour résoudre des problèmes difficiles à l’aide de réseaux peu volumineux, mais il reste mal compris et pourrait être sous-optimal. Nous proposons le Modèle récursif miniature (TRM), une approche de raisonnement récursif bien plus simple, qui atteint une généralisation nettement supérieure à celle du HRM, tout en utilisant un unique réseau très petit de seulement deux couches. Avec seulement 7 millions de paramètres, le TRM obtient une précision de test de 45 % sur ARC-AGI-1 et de 8 % sur ARC-AGI-2, des résultats supérieurs à ceux de la plupart des LLM (par exemple Deepseek R1, o3-mini, Gemini 2.5 Pro), bien que ces derniers disposent de moins de 0,01 % du nombre de paramètres.