Hugging Face sceptique sur les évaluateurs IA embarqués

Irene Solaiman, responsable des politiques chez Hugging Face, a estimé lors de TechCrunch Disrupt que les évaluations des modèles d’intelligence artificielle, sur lesquelles reposent les classements de fiabilité des laboratoires, restent une discipline encore fragile. Selon elle, la confiance dans les résultats dépend d’abord de la capacité à les reproduire, ce qui suppose un accès suffisant aux modèles, notamment grâce aux poids ouverts, dont les paramètres sont accessibles. L’industrie observe aussi un essoufflement des benchmarks classiques, difficiles à comparer entre eux et souvent rendus obsolètes par la rapidité des évolutions. Cette situation alimente l’intérêt pour des évaluateurs embarqués: des observateurs tiers installés au sein même des entreprises développant des modèles. Cette approche, évoquée pour répondre aux incidents de sécurité récents, reste toutefois controversée. L’embauche d’Accenture par Anthropic comme premier évaluateur a provoqué des critiques, certains doutant de la neutralité et des compétences d’un cabinet de conseil pour une tâche aussi spécialisée. Hugging Face a d’ailleurs été impliquée dans l’un de ces incidents récents. Les évaluations ne portent plus seulement sur le modèle lui-même, mais sur l’ensemble du système: les outils d’accès, les agents et les scénarios d’usage. Irene Solaiman souligne qu’un modèle moins puissant mais mieux intégré dans une interface adaptée peut surpasser un modèle de pointe. Les tests d’agents restent complexes et coûteux, tandis que les évaluations des interfaces et des systèmes holistiques demeurent insuffisantes. Pour devenir une référence industrielle crédible, l’écosystème des tests doit selon elle se standardiser et devenir plus cohérent.