Les plus grands esprits de l’intelligence artificielle s’expriment sur le débat entourant la croissance des modèles. Geoffrey Hinton, l’un des pionniers de l’IA, affirme que les chatbots pourraient bientôt relever l’un des principaux défis liés aux lois d’échelle. Bien que certains, comme Ilya Sutskever, cofondateur d’OpenAI et ancien élève de Hinton, estiment que le moment est venu de revenir à une recherche fondamentale — au détriment de la simple augmentation des ressources — Hinton reste prudent. « Je ne suis pas convaincu que tout soit terminé », a-t-il déclaré à Business Insider, soulignant qu’il restera toujours besoin de plus de données. Sutskever, désormais à la tête de sa propre start-up, a critiqué l’idée selon laquelle une augmentation de 100 fois des ressources suffirait à transformer radicalement les systèmes d’IA. « Ce serait différent, sans aucun doute. Mais croire que tout serait révolutionné simplement en multipliant l’échelle ? Je ne pense pas que ce soit vrai », a-t-il ajouté lors d’un épisode du podcast Dwarkesh Podcast. Pour lui, nous sommes entrés dans une nouvelle ère où la recherche reprend ses droits, même si les ordinateurs restent puissants. Hinton voit une solution potentielle dans la capacité future des grands modèles linguistiques à générer eux-mêmes leurs données, comme le faisait AlphaGo et AlphaZero de DeepMind en s’entraînant contre eux-mêmes pour maîtriser le jeu de Go. « Personne ne s’inquiète du manque de données quand un système joue contre lui-même », explique-t-il. « Pour un modèle linguistique, cela pourrait signifier raisonner ainsi : “Je crois que ceci et cela impliquent cela, mais je ne crois pas que cela soit vrai, donc je dois corriger quelque chose.” En vérifiant la cohérence de ses propres croyances, il peut produire une quantité considérable de nouvelles données. » Cette approche repose sur une stratégie qui anime les investissements massifs des géants du numérique : augmenter sans cesse les ressources matérielles et les données pour obtenir des modèles toujours plus performants. Mais de plus en plus de leaders de l’IA mettent en doute cette logique. Alexandr Wang, désormais à la tête de la division superintelligence de Meta, a déclaré en 2024 que « l’échelle est la plus grande question de l’industrie ». Yann LeCun, ancien collègue de Hinton dans les recherches foncières sur l’IA, partage cette critique. « On ne peut pas supposer que plus de données et plus de puissance de calcul entraînent nécessairement une IA plus intelligente », affirmait-il en avril, avant de quitter Meta pour lancer sa propre entreprise. Pour Sutskever, la stratégie d’échelle était attractive car elle représentait un pari à faible risque sur l’avancement de l’IA. En revanche, Demis Hassabis, PDG de DeepMind, reste optimiste : selon lui, la poursuite de la montée en échelle pourrait être essentielle pour atteindre l’intelligence artificielle générale (AGI). « Il faut pousser ces systèmes à leur maximum, car ils seront au moins une composante clé du système AGI final », a-t-il déclaré lors du sommet AI+ d’Axios en décembre. « Ils pourraient même constituer l’ensemble du système. »