Rich Sutton critique les données synthétiques pour l'IA
Le scientifique canadien et lauréat du prix Turing Richard Sutton a récemment dénoncé, sur le podcast de Sequoia, la dépendance croissante de l'industrie de l'intelligence artificielle envers les données synthétiques pour l'entraînement des modèles. Selon lui, cette approche constitue une erreur majeure qui oriente le secteur dans la mauvaise direction. Les données synthétiques, générées artificiellement par des algorithmes plutôt qu'issues de sources réelles, ont été largement adoptées pour pallier l'épuisement progressif des corpus disponibles en ligne. Pourtant, Sutton estime qu'elles ne sauraient remplacer les informations authentiques, soulignant que la complexité infinie du monde réel, notamment les interactions physiques comme la friction ou l'usure des mécanismes, ne peut être correctement simulée. Il rappelle également que la modélisation du comportement humain et de la pensée reste impossible avec ce type de données. Face à cette limitation, les principales entreprises technologiques cherchent désormais des sources de données privées et authentiques. OpenAI milite ainsi pour l'accès à des ensembles de données propriétaires, tandis que Google a récemment investi dix millions de dollars dans les informations internes de la compagnie Spirit Airlines, illustrant la valeur stratégique croissante des informations réelles pour le développement des modèles. En réponse à ces enjeux, Sutton a cofondé avec son ancien étudiant Khurram Javed Oak Lab, une startup développant des agents d'intelligence artificielle capables d'apprendre en continu par interaction directe avec leur environnement physique. Cette approche privilégie l'expérience vécue aux vastes jeux de données précurés, marquant une rupture avec les méthodes actuelles. Les détails concernant le financement et les investisseurs du projet n'ont pas encore été communiqués. Cette orientation suggère que la prochaine étape du développement de l'IA pourrait reposer davantage sur l'apprentissage par l'essai et l'erreur en environnement réel que sur la synthèse algorithmique de données.
