Thinking Machines Lab vise à rendre les IA déterministes et reproductibles

Le laboratoire Thinking Machines Lab ambitionne de rendre les modèles d’intelligence artificielle plus cohérents. Depuis son lancement avec 2 milliards de dollars de financement initial et une équipe composée de chercheurs de renom issus d’OpenAI, le laboratoire dirigé par Mira Murati suscite un vif intérêt dans le monde de l’IA. Dans un billet de blog publié mercredi, le laboratoire a dévoilé pour la première fois une de ses recherches : la création de modèles d’IA capables de produire des réponses reproductibles. Le billet, intitulé « Defeating Nondeterminism in LLM Inference » (Combattre l’indéterminisme dans l’inférence des modèles de langage), s’attaque à l’une des caractéristiques fondamentales des modèles d’IA actuels : leur imprévisibilité. Si l’on pose la même question à ChatGPT plusieurs fois, les réponses varient souvent, parfois considérablement. Ce comportement aléatoire est généralement accepté dans la communauté scientifique comme une caractéristique inhérente aux modèles d’IA modernes, mais Thinking Machines Lab considère ce phénomène comme un problème résolvable. Selon Horace He, chercheur au laboratoire et auteur du billet, la source principale de cette indétermination réside dans la manière dont les petits programmes appelés kernels GPU — exécutés sur les puces Nvidia — sont assemblés durant le processus d’inférence (l’étape qui suit la saisie d’une requête dans un outil comme ChatGPT). En maîtrisant précisément cette couche d’orchestration, affirme-t-il, il devient possible de rendre les modèles d’IA plus déterministes, c’est-à-dire capables de produire les mêmes résultats à partir des mêmes entrées. Au-delà de l’amélioration de la fiabilité pour les entreprises ou les chercheurs, une réponse reproductible pourrait aussi renforcer l’apprentissage par renforcement (RL), une méthode clé pour entraîner les IA. En effet, si chaque réponse est légèrement différente, les données d’entraînement deviennent bruitées, rendant le processus moins efficace. Une plus grande cohérence permettrait de « fluidifier » l’apprentissage, selon He. Le laboratoire a indiqué à ses investisseurs qu’il prévoit utiliser l’apprentissage par renforcement pour personnaliser des modèles d’IA destinés aux entreprises, selon des informations du Financial Times. Mira Murati, ancienne directrice technique d’OpenAI, a déclaré en juillet que le premier produit de Thinking Machines Lab serait dévoilé dans les prochains mois, et qu’il serait « utile pour les chercheurs et les startups développant des modèles sur mesure ». L’identité exacte de ce produit reste toutefois inconnue, ainsi que la manière dont il intégrerait ou non les techniques décrites dans cette recherche. Le laboratoire s’est également engagé à publier régulièrement des billets de blog, du code source et d’autres ressources afin de « servir le public tout en enrichissant sa propre culture de recherche ». Ce premier billet, lancé dans le cadre d’une série intitulée Connectionism, illustre cet engagement. À l’instar d’OpenAI, fondé sur un principe d’ouverture scientifique, le laboratoire de Murati tente de s’imposer comme une alternative plus transparente. Il reste à voir si cette promesse sera tenue à long terme. Ce billet offre une rare fenêtre sur l’un des plus secrets startups d’IA de la Silicon Valley. Bien qu’il ne révèle pas encore la direction précise du projet, il montre que Thinking Machines Lab s’attaque à des enjeux fondamentaux à la pointe de la recherche en intelligence artificielle. Le vrai défi ? Résoudre ces problèmes et transformer ses découvertes en produits concrets, afin de justifier sa valorisation de 12 milliards de dollars.