Un transformeur léger marque 44% sur ARC-AGI pour 67 cents

Un chercheur indépendant a obtenu un score de 44 % sur le benchmark ARC-AGI-1 en seulement une heure et demie d'entraînement, sur une carte graphique RTX 5090, pour un coût d'environ soixante-sept cents. Cette performance, obtenue avec un petit modèle de type transformer entraîné de zéro, égale les résultats de systèmes plus complexes comme TRM ou HRM, tout en réduisant drastiquement la puissance de calcul nécessaire. L'objectif affiché est d'améliorer l'efficacité échantillonnale de l'intelligence artificielle et de démocratiser la recherche en limitant les coûts. L'approche technique repose sur plusieurs innovations clés. L'auteur a abandonné l'entraînement sur les jetons d'entrée pour se concentrer uniquement sur les jetons de sortie, rendant le processus supervisé et améliorant la stabilité. La gestion des données a été rigoureusement contrôlée pour éviter toute fuite d'information entre les ensembles ARC-1 et ARC-2. Sur le plan architectural, le modèle intègre un nouvel algorithme d'optimisation nommé NorMuon, des couches de normalisation RMSNorm et des fonctions d'activation modulaires SwiGLU. Ces ajustements permettent de réduire significativement la consommation de ressources sans sacrifier la précision. Cette réalisation s'inscrit dans un débat plus large au sein de la communauté IA. L'auteur remet en question l'usage systématique de la récursivité et de données de synthèse, affirmant que les transformers classiques peuvent atteindre des performances remarquables sur ce benchmark historique de raisonnement fluide, et ce, sans contourner les règles d'évaluation. Bien que les grands modèles de langage montrent des progrès constants, ils restent limités par leur dépendance à des données massives et peinent à généraliser sur de nouvelles variantes du test. La progression récente démontre plutôt une adaptation aux formats d'exercice spécifiques qu'une compréhension générale du raisonnement. Le code complet est publié sous licence libre pour encourager la collaboration et l'expérimentation indépendante. L'objectif suivant est d'atteindre les 65 % sur ARC-AGI-1, tout en supprimant les augmentations de données artificielles pour respecter une approche plus fidèle aux principes fondamentaux de l'apprentissage automatique. Cette expérience démontre que l'optimisation algorithmique et une conception rigoureuse peuvent rivaliser avec des approches beaucoup plus coûteuses, ouvrant la voie à une recherche en intelligence artificielle plus accessible et axée sur l'efficacité plutôt que sur la simple mise à l'échelle des paramètres.