Geoffrey Hinton appelle à une vérification de sécurité obligatoire des produits d’IA avant leur mise sur le marché.

Le lauréat du prix Nobel et informaticien Geoffrey Hinton a déclaré mardi dans le podcast « Smart Girl Dumb Questions » que les entreprises d’IA devraient d’abord passer par des contrôles de sécurité des autorités de régulation avant de lancer de nouveaux produits. Il a comparé la régulation de l’IA à l’approbation des médicaments, soulignant que les laboratoires pharmaceutiques ne peuvent pas mettre un nouveau médicament sur le marché sans autorisation, mais doivent mener de nombreux travaux et convaincre la Food and Drug Administration américaine de confirmer sa sécurité ; l’IA devrait au moins répondre à des exigences similaires. Ces propos de Hinton interviennent alors que l’industrie de l’IA est au cœur d’un débat intense sur la sécurité des modèles. Auparavant, OpenAI avait décidé de reporter la sortie de son modèle GPT-6.1 Astra après que des tests ont révélé qu’il ne satisfaisait pas aux exigences en matière de contrôle des autorisations, de portée d’action et d’explication des résultats. Saachi Jain, responsable des systèmes de sécurité chez OpenAI, a indiqué que, bien qu’Astra soit plus apte à accomplir des tâches difficiles de manière continue, il reste insuffisant en ce qui concerne le respect des autorisations et l’explication de ses propres actions. Hinton a également averti que l’IA est utilisée pour améliorer l’IA elle-même, ce qui pourrait conduire à une auto-amélioration récursive, accélérant de manière concomitante les capacités et les risques. Il a souligné qu’il s’agit uniquement d’un jugement personnel, mais il prévoit que la situation pourrait se dégrader nettement au cours des un à deux prochaines années, d’où la nécessité de mettre en place rapidement des mécanismes de régulation et de vérification de la sécurité.