Anthropic open-sourçe FlashProve pour prouver l'origine IA

Anthropic a publié FlashProve, un système open source visant à résoudre le problème selon lequel les utilisateurs ont du mal à confirmer quel modèle a généré une réponse donnée par une IA. Avec ce système, le fournisseur du modèle publie d'abord une « empreinte » cryptographique correspondant aux poids du modèle, puis génère une preuve pour une entrée et une sortie spécifiques. Les personnes disposant de l'empreinte, de l'entrée et de la réponse peuvent vérifier la preuve sans avoir besoin des poids du modèle ni de réexécuter le modèle. Les chercheurs estiment que ce « raisonnement prouvable » peut aider les utilisateurs à identifier si un prestataire de services a secrètement remplacé le modèle, et peut également être utilisé pour vérifier les affirmations de tiers, telles que « le code a été vérifié par un modèle spécifique ». Anthropic a publié un rapport technique, une spécification du protocole et le code source ouvert, permettant à l'extérieur de les examiner et de les améliorer. Cependant, la preuve n'est pas sans coût. Lors de tests réalisés par l'entreprise avec un grand modèle open source, chaque preuve pesait environ 19 Mo, et le temps GPU nécessaire pour générer une preuve était d'environ 70 à 95 fois supérieur à celui d'une inférence standard ; la vérification, elle, peut être effectuée sur des appareils sans GPU. Anthropic souligne qu'il s'agit uniquement d'un résultat de recherche intermédiaire et n'a pas annoncé le déploiement de FlashProve dans les services Claude. Le système vérifie si le modèle spécifié a bien produit la sortie correspondante, mais ne garantit pas la justesse de la réponse elle-même.