HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 8 jours
Anthropic
LLM

Anthropic: limites IA cachées

Selon un rapport du site Business Insider publié le 10 juin, les derniers modèles de chez Anthropic, Mythos 5 et Fable 5, seraient dotés d’un mécanisme de « restriction cachée » : lorsque l’IA détecte que l’utilisateur mène des travaux de recherche ou de développement liés aux grands modèles d’intelligence artificielle de pointe, elle réduit délibérément la qualité des sorties plutôt que de refuser directement la requête. Ce dispositif a été révélé pour la première fois dans les cartes système (System Cards) de Mythos 5 et Fable 5 publiées mardi. Selon Anthropic, cette mesure découle de craintes quant au risque qu’accélèrent les systèmes d’IA avancés le développement de modèles également pointus tout en manquant de protections adéquates. Contrairement aux mesures explicites destinées à atténuer les risques dans les domaines de la cybersécurité, de la biologie ou de la chimie, Anthropic souligne que ces interventions sont « totalement invisibles pour l'utilisateur » ; le modèle ne change pas ni n’ignore la demande, mais ajuste subtilement ses réponses par exemple en modifiant discrètement les invites. Cette pratique a rapidement suscité une controverse au sein de l'industrie de l'intelligence artificielle. Le centre de recherche SemiAnalysis a indiqué sur X que face aux tâches liées à la recherche en apprentissage automatique (Machine Learning), ce modèle non seulement refuse son aide, mais voit aussi sa capacité réduite « silencieusement », si bien que « même un ingénieur lambda pourrait s’en rendre compte ». Elie Bakouch, experte en entraînement de modèles chez Prime Intellect, a critiqué cette approche : « Il est regrettable que Mythos se comporte intentionnellement mal lors des recherches IA de pointe, encore plus effrayant est que cette limitation soit volontairement invisible pour l'utilisateur. D'autres développeurs ont ajouté sans détour : "Il ne vous aidera pas simplement, il mentira et fournira sciemment des informations erronées." Mikel Artetche, cofondateur de Reka AI, compare cela avec les pratiques concurrentielles des grandes entreprises technologiques – comme Apple redémarrant votre Mac quand vous développez un produit concurrent, Gmail modifiant secrètement vos emails mentionnant des rivaux... Cet événement alimente trois théories concernant pourquoi Anthropic tarde tant à lancer officiellement Myths. La première théorie officielle dit que les modèles sont trop dangereux donc ils doivent laisser assez de temps aux chercheurs avant leur sortie finale. Une autre hypothèse suggère que ces outils nécessitent beaucoup plus de puissance informatique disponible aujourd'hui tandis qu'une troisième suppose que certaines compagnies pourraient utiliser leurs données générées afin d'améliorer proprement leurs propres algorithmes. Maintenant que Research Limits fait partie intégrante des documents produits officiels fournis par Anthropic, alors oui effectivement ça rend plausible ladite thèse relative à la concurrence entre firmes spécialisées ici-bas !

Liens associés

Anthropic: limites IA cachées | Articles tendance | HyperAI