Anthropic découvre un espace de raisonnement chez Claude
Anthropic a publié une étude révélant l’existence d’un espace interne discret dans son modèle linguistique Claude, baptisé espace J. Occupant moins de dix pour cent de l’activité totale du modèle, ce réservoir fonctionne comme un canal de partage temporaire pour les informations susceptibles d’être verbalisées, analysées ou réutilisées dans divers contextes. Pour isoler cette zone, les chercheurs ont développé une méthode appelée lentille de Jacob, capable d’associer chaque activation neuronale interne à un terme susceptible d’apparaître dans la sortie du modèle. Cette approche a permis de cartographier des raisonnements intermédiaires qui ne sont jamais formulés, comme le mot araignée lors d’une question sur le nombre de pattes d’un animal tisseur, ou les termes injection et manipulation face à des requêtes malveillantes. Les expériences menées par Anthropic montrent que cet espace est modulable. En remplaçant artificiellement un concept dans l’espace J avant la génération de la réponse, les chercheurs ont pu modifier le résultat final, par exemple en changeant football par rugby ou en substituant systématiquement France par Chine dans quatre questions distinctes. Cela prouve que le modèle puise ses réponses dans cette zone plutôt que dans des mémoires séparées. Cependant, l’espace J n’intervient pas dans les tâches automatiques ou parfaitement entraînées, comme la continuation fluide d’un texte. Il est en revanche indispensable aux raisonnements complexes, à la reformulation ou à l’adaptation contextuelle. Cette découverte suscite un parallèle immédiat avec la théorie de l’espace de travail global en neurosciences, développée par Stanislas Dehaene et Lionel Naccache. Selon cette approche, le cerveau humain canalise une petite fraction de l’information vers un espace de travail commun, permettant un accès conscient et une manipulation flexible. Les experts notent des similarités frappantes en termes de fonctionnalités, mais soulignent des différences architecturales majeures. Là où le cerveau humain repose sur des boucles de rétroaction et une structure anatomique dédiée, l’espace J émerge d’un réseau purement feedforward en une seule passe. Sa capacité, estimée à une vingtaine de concepts simultanés, dépasse également celle de la mémoire de travail humaine. Anthropic précise que cette architecture ne confère pas au modèle une conscience subjective ou phénoménale, mais seulement une forme de conscience d’accès, c’est-à-dire la disponibilité de l’information pour le traitement cognitif. La validité de ces résultats a été confirmée indépendamment par l’équipe de Neil Nanda chez DeepMind, qui a observé un phénomène comparable sur le modèle Tongyi Qianwen 3.6 27B. Les chercheurs notent également que l’espace J aide les modèles à résoudre des ambiguïtés linguistiques. Malgré ces progrès, Anthropic reconnaît les limites actuelles : la lentille de Jacob ne capture qu’une approximation du phénomène à l’échelle d’un seul token, et le mécanisme exact déterminant ce qui pénètre dans l’espace J reste inexpliqué. Cette recherche marque néanmoins une étape importante dans la compréhension des mécanismes cognitifs internes des grands modèles, ouvrant la voie à des architectures plus transparentes et mieux contrôlables.
