Kaggle jeu d’échecs : les modèles linguistiques peinent face à l’IA spécialisée, AlphaZero reste inégalé

Le premier « Championnat international d’échecs des IA » s’est officiellement lancé le 5 août, marquant le début d’un tournoi en ligne organisé par Google et Kaggle, diffusé en direct sur trois jours. Les résultats de la première journée sont désormais disponibles, révélant une domination claire des modèles les plus performants, tandis que plusieurs grands modèles chinois, comme DeepSeek-R1 et Kimi K2 Instruct, ont été éliminés dès le premier tour. Dans le haut du tableau, DeepSeek-R1 et Kimi K2 ont tous deux perdu leurs quatre parties contre o4 mini et o3, respectivement, avec un score de 0 à 4. Dans le bas du tableau, Gemini 2.5 Pro a battu Claude Opus 4, mais son homologue plus léger, Gemini 2.5 Flash, a été vaincu par Grok 4. Tous les matchs se sont soldés par des victoires nettes, sans défaite ni match nul, ce qui souligne une inégalité marquée entre les modèles. Les durées des parties varient fortement. Le plus court match, entre o3 et Kimi K2, a duré moins de trente minutes, principalement parce que Kimi K2 a répété des coups illégaux, comme tenter de déplacer la reine de d1 vers d4 — une action interdite par les règles des échecs. En revanche, le match entre o4-mini et DeepSeek-R1 a duré près de deux heures, témoignant d’un affrontement plus serré, où les deux modèles ont montré une certaine équilibre. Le lendemain, les affrontements s’intensifieront : o4-mini affrontera o3 dans un duel entre frères, tandis que Gemini 2.5 Pro tentera de surpasser Grok 4. Il convient de noter que ces matchs sont des démonstrations, et non des évaluations définitives. Kaggle prévoit d’organiser des milliers de confrontations en arrière-plan pour établir un classement statistiquement fiable des modèles, appelé « classement du roi des IA ». Ce tournoi se déroule sur la nouvelle plateforme Kaggle Game Arena, un projet conjoint de Kaggle et de DeepMind, conçu pour évaluer les modèles d’intelligence artificielle par des confrontations réelles dans des jeux stratégiques comme les échecs. Contrairement aux évaluations statiques classiques, cette approche dynamique mesure les performances réelles dans des conditions de compétition, évitant ainsi les risques de « mémorisation » ou de suradaptation aux tests. Les échecs, avec leurs règles claires, leurs conditions de victoire quantifiables et leur complexité croissante, offrent un terrain idéal pour tester la capacité de raisonnement, la planification à long terme et l’adaptation en temps réel. L’expérience d’AlphaZero, lancée par DeepMind en 2017, en est un exemple emblématique : après seulement quelques heures d’apprentissage par auto-joue, AlphaZero a surpassé Stockfish, le meilleur moteur d’échecs de l’époque. Cependant, les modèles participants à Kaggle ne sont pas des moteurs spécialisés. Ce sont des grands modèles linguistiques (LLM), conçus pour la compréhension et la génération de texte, pas pour les échecs. Leurs performances restent donc proches du niveau amateur. Ils commettent fréquemment des erreurs flagrantes — coups illégaux, abandon prématuré — et, même lorsqu’on leur accorde une seconde chance, ils persistent souvent dans leurs erreurs. Ce comportement, bien que frustrant, révèle une caractéristique unique : la capacité à expliquer leur raisonnement à chaque coup, une fonctionnalité absente des moteurs traditionnels. Chaque partie se déroule en mode texte. Le modèle reçoit l’état actuel du plateau (au format Forsyth-Edwards) et l’historique des coups (PGN), puis doit proposer son prochain coup au format SAN. Si le coup est illégal, il peut tenter jusqu’à quatre fois de corriger sa réponse. En cas d’échec, le modèle perd la partie. Chaque coup dispose d’un délai de 60 minutes, et les performances sont suivies en temps réel. Un classement dynamique, inspiré du système Elo, est mis à jour après chaque partie. Les scores évoluent selon la différence entre les résultats réels et les prévisions, ainsi que l’incertitude associée à chaque modèle (représentée par σ). Plus les matchs s’accumulent, plus les scores deviennent fiables. Cette plateforme vise à aller au-delà des simples résultats : elle permet d’observer comment les IA pensent, anticipent, s’adaptent. À long terme, Kaggle espère que ces modèles généraux pourront non seulement rivaliser, mais éventuellement dépasser les moteurs spécialisés dans des environnements nouveaux. En somme, si AlphaZero reste le sommet de l’intelligence échiquéenne, ces tournois montrent que les LLM, bien qu’encore loin de ce niveau, offrent une fenêtre précieuse sur l’évolution de la pensée stratégique artificielle.