L’IA Gemini de Google a réussi à battre Pokémon Blue, ce qui représente une avancée notable pour l’un des modèles d'intelligence artificielle les plus coûteux de l’entreprise. Cet exploit a été annoncé mardi soir par Sundar Pichai, PDG de Google, via un Tweet enthousiaste sur X : "Quelle finale ! Gemini 2.5 Pro vient de terminer Pokémon Blue !" La diffusion en direct intitulée "Gemini Plays Pokémon" a été initiée par Joel Z, un ingénieur logiciel de 30 ans sans affiliation officielle avec Google. Toutefois, les responsables de l'entreprise ont manifesté leur soutien à cette initiative. Logan Kilpatrick, le responsable produit de Google AI Studio, a partagé en août dernier que Gemini avait « obtenu sa cinquième médaille » et faisait « de grands progrès » dans le jeu, ajoutant que le modèle concurrent le plus performant n’en possédait que trois. Ce commentaire a incité Pichai à plaisanter : "Nous travaillons sur l’API, l'Intelligence Artificielle Pokémon :)" La question se pose : pourquoi Pokémon ? En février, Anthropic, une autre entreprise spécialisée en IA, avait souligné les progrès réalisés par son modèle Claude dans Pokémon Red. L'entreprise affirmait que l'« étalonnage prolongé et la formation d’agents » de Claude lui accordaient une avance significative sur les tâches imprévues, comme jouer à un jeu classique. Pokémon Red et Blue sont deux versions différentes du jeu original sorti sur Game Boy en 1996, qui s’inscrit dans l'univers du longue durée de la franchise Pokémon. Bien que Claude ait progressé, il n’a toujours pas achevé Pokémon Red. Cette différence de performance entre Gemini et Claude pourrait-elle signifier que l’IA de Google est supérieure à celle d’Anthropic dans le jeu ? Sur sa page Twitch, Joel Z a invité les spectateurs à ne pas considérer cet exploit comme un véritable benchmark. "Il est impossible de faire des comparaisons directes," a-t-il déclaré, "car Gemini et Claude utilisent des outils différents et recoivent des informations distinctes." En effet, pour pouvoir jouer, les modèles d’IA ont besoin d’être assistés par des "agent harnesses" — des interfaces leur fournissant des captures d'écran du jeu enrichies d’informations supplémentaires. Ces harnais permettent au modèle d’IA de prendre des décisions et de formuler des instructions, lesquelles sont ensuite exécutées par des agents spécialisés. Joel Z a également reconnu avoir effectué des interventions techniques pour aider Gemini à accomplir certaines tâches. Il a toutefois assuré que ces interventions visaient à améliorer les capacités de raisonnement et de prise de décision de l’IA, plutôt qu’à lui fournir des indices spécifiques. "Je ne donne pas de conseils précis, ni de guide de progression pour des défis particuliers comme Mt. Moon," a-t-il expliqué. L’unique assistance qui pourrait ressembler à un indice a été de signaler à Gemini que "pour obtenir la Clé d’élévation, il faut parler deux fois à un sous-fifre du Clan Rocket, mais cet aspect a été corrigé dans Pokémon Yellow." Joel Z a insisté sur le fait que le projet "Gemini Plays Pokémon" était toujours en cours de développement, avec un cadre technique qui évolue constamment. "Gemini se perfectionne et deviendra de plus en plus autonome au fil du temps," a-t-il conclu, laissant entrevoir des perspectives d’amélioration futures pour l’IA. Cet exploit, bien qu’il soit impressionnant, doit donc être considéré dans son contexte, prenant en compte les différences methodologiques entre les divers modèles d’IA. Malgré tout, il constitue un jalon important dans le domaine de l’IA et de ses capacités à interagir avec des environnements complexes et non structurés.