L’évaluation de la fiabilité des systèmes d’intelligence artificielle (IA) nécessite davantage que des avis d’experts techniques : elle exige la mise en place de panels représentatifs du public, selon une lettre publiée dans Nature le 18 novembre 2025 par Cong Cheng, Jian Dai, Lulu Yan et Chengliang Wang. Ces auteurs critiquent une proposition de Vinay Chaudhri, qui suggère d’utiliser une méthode d’entrevue d’experts — baptisée « test Sunstein » — pour évaluer le niveau de compréhension réelle d’un modèle d’IA. Bien que cette approche permette de mesurer la compétence technique, elle risque de consolider un cercle fermé d’experts, perpétuant des inégalités de pouvoir et des biais liés aux intérêts de quelques-uns. Cette critique s’inscrit dans une réflexion plus large sur les impacts sociaux de l’IA, rappelant les préoccupations de Cathy O’Neil, selon qui les objectifs des systèmes d’IA reflètent souvent ceux des élites qui les conçoivent et contrôlent. Les auteurs insistent sur la nécessité de passer d’une évaluation centrée sur les experts à une évaluation inclusive, intégrant des perspectives diverses provenant de différentes couches sociales, cultures et niveaux de formation. Une IA jugée « fiable » par une minorité d’experts pourrait néanmoins être perçue comme injuste, opaque ou nuisible par une majorité du public. Une évaluation véritablement démocratique de l’IA doit donc inclure des panels de citoyens, d’usagers, de professionnels non techniques et de représentants de groupes vulnérables, afin de mesurer non seulement la performance technique, mais aussi l’acceptabilité sociale, l’équité et l’impact réel des systèmes. Cette approche s’inscrit dans une tendance croissante vers une IA plus responsable et transparente, où les décisions ne sont pas uniquement dictées par des modèles mathématiques ou des expertises académiques, mais aussi par des valeurs partagées. Elle s’inspire de l’idée d’un « nouveau test de Turing » — non pas pour évaluer la capacité d’un système à imiter l’humain, mais pour mesurer sa capacité à s’insérer de manière éthique et significative dans la société. Cela implique une redéfinition des critères d’évaluation, en incluant des indicateurs tels que la justesse, la biais, la transparence et la responsabilité. Enfin, les auteurs soulignent que l’IA n’est pas neutre : elle est le produit de choix humains, qu’ils soient implicites ou explicites. Sans une gouvernance inclusive, les risques d’automatisation des inégalités, de discrimination algorithmique et de concentration du pouvoir technologique restent élevés. Une évaluation démocratique, menée par des panels diversifiés, est donc non seulement nécessaire, mais urgente pour garantir que l’IA serve l’intérêt général, et non seulement les intérêts d’un petit groupe d’acteurs. Évaluation des experts : L’approche proposée par les auteurs est soutenue par des spécialistes en éthique de l’IA et en sciences sociales, qui mettent en garde contre les dangers de la « gouvernance par les experts ». Des institutions comme l’Institut de l’IA de l’ONU et l’Agence européenne pour l’IA plaident pour des mécanismes participatifs. Des entreprises comme Google DeepMind et Meta ont commencé à intégrer des comités d’éthique pluridisciplinaires, mais leur impact reste limité sans inclusion du public. La proposition de Cheng et al. représente une avancée vers une IA plus démocratique, en s’appuyant sur des modèles d’engagement citoyen déjà testés dans d’autres domaines, comme la régulation des médicaments ou les politiques publiques.