Ilya Sutskever prévient : l’ère du scaling est terminée, l’IA doit retourner à la recherche
Ilya Sutskever, cofondateur d’OpenAI, affirme que l’augmentation de la puissance de calcul ne suffira plus à faire progresser l’intelligence artificielle : « Nous sommes de retour à l’ère de la recherche ». Dans une interview publiée mardi sur le podcast Dwarkesh, Sutskever, considéré comme l’un des pionniers de l’intelligence artificielle moderne, remet en question l’idée largement répandue selon laquelle le simple agrandissement des modèles — en termes de données ou de puissance informatique — garantirait des avancées significatives. Depuis environ cinq ans, les entreprises technologiques ont investi des centaines de milliards de dollars dans l’acquisition de puces GPU et la construction de centres de données, dans l’espoir d’améliorer leurs outils d’IA, que ce soit des modèles linguistiques ou des générateurs d’images. La logique était simple : plus on dispose de données et de puissance de calcul, plus les modèles deviennent intelligents. Cette approche a été particulièrement efficace, et elle présente l’avantage d’être relativement sûre financièrement : contrairement à la recherche fondamentale, elle offre une trajectoire prévisible, même si les résultats sont parfois limités. Mais selon Sutskever, qui dirige désormais Safe Superintelligence Inc., cette méthode atteint ses limites. « Les données sont finies, et les organisations ont déjà accès à une quantité colossale de puissance de calcul », affirme-t-il. Il doute que multiplier par cent la puissance disponible entraîne une transformation radicale : « Bien sûr, cela changerait quelque chose. Mais croire que cela suffirait à tout transformer ? Je n’y crois pas. » Il estime donc que l’industrie doit désormais revenir à une phase de recherche fondamentale, « mais cette fois avec des ordinateurs puissants ». Bien qu’il ne rejette pas l’importance du calcul, il insiste sur le fait qu’il ne peut plus être une solution unique. Ce dernier reste nécessaire, voire même un facteur différenciant dans un secteur où tous les grands acteurs suivent la même approche. Ce qui compte désormais, c’est la recherche pour trouver des façons efficaces d’utiliser cette puissance immense. Un domaine critique, selon Sutskever, est la capacité des modèles à généraliser — c’est-à-dire à apprendre à partir de très peu d’exemples, comme le font les humains. « Ce qui me semble le plus fondamental, c’est que ces modèles généralisent bien moins que les êtres humains », dit-il. « C’est évident. Et cela représente un problème fondamental. » En somme, selon Sutskever, l’ère de l’expansion massive des ressources s’achève. L’avenir de l’IA dépend désormais de l’innovation scientifique, non pas de la simple augmentation des ressources.
