Neural Networks Sont Floues, les Systèmes Symboliques Sont Fragmentés. Les Autoencodeurs Épars Offrent un Pont entre les Deux
Les réseaux neuronaux sont flous, les systèmes symboliques sont fragmentés. Les autoencodeurs épars (SAE) nous aident à les combiner. Dans l’histoire des systèmes informatiques et de l’intelligence artificielle, nous avons développé des institutions rationnelles pour comprendre le comportement humain — comme le système judiciaire. Ce dernier fonctionne comme un moteur de raisonnement ancien : les faits sont les entrées, les lois servent de règles de raisonnement, et les verdicts sont les sorties. Ces lois ont toujours évolué, depuis le Code de Hammourabi (vers 1750 av. J.-C.), l’un des premiers codes écrits qui formalise des règles morales et sociales, rigides mais claires. À l’opposé, le droit commun, incarné par l’affaire Donoghue v Stevenson (1932), repose sur les précédents juridiques, valorisant l’expérience plutôt que les règles fixes. Aujourd’hui, les systèmes juridiques mêlent ces deux approches, selon les pays. En intelligence artificielle, une tension similaire existe entre le symbolisme et le connexionnisme — deux paradigmes souvent difficiles à intégrer. Le connexionnisme domine depuis quelques années : les réseaux neuronaux apprennent implicitement à partir de données massives, codant les connaissances dans leurs paramètres. Cette approche excelle sur les benchmarks, mais souffre d’opacité. Le symbolisme, lui, repose sur des règles explicites, des ontologies ou des graphes de connaissances. Il offre une grande clarté et une bonne composabilité, mais manque de souplesse face aux variations contextuelles. À travers le prisme de la compression de l’information, ces deux systèmes apparaissent comme des filtres différents appliqués à la réalité. Les systèmes symboliques agissent comme des filtres passe-haut : ils isolent les contours nets des règles, mais perdent les nuances. Les réseaux neuronaux sont des filtres passe-bas : ils lisent les gradients globaux du monde, permettant une généralisation remarquable, mais au prix de la transparence. En résumé : les réseaux neuronaux sont des images floues du monde, tandis que les systèmes symboliques sont des images haute résolution avec des trous. Cette différence explique pourquoi les systèmes neuro-symboliques représentent un compromis stratégique : utiliser les réseaux pour une représentation globale et les systèmes symboliques pour des détails précis. Le principal obstacle à cette intégration est la scalabilité. Les systèmes neuro-symboliques traditionnels exigent des ontologies définies par des experts — impossible à étendre à des systèmes ouverts comme les grands modèles fondamentaux. Une solution émergente repose sur les autoencodeurs épars (SAE), qui apprennent automatiquement des « concepts » à partir des activations internes des modèles. Chaque neurone du code est une caractéristique éparses, souvent interprétable, qui s’allume quand un motif spécifique apparaît. Cela semble résoudre le problème du « bottleneck expert ». Mais deux défis subsistent. D’abord, l’impact computationnel : multiplier chaque état caché par une grande matrice de dictionnaire est prohibitif à l’échelle des grands modèles. Ensuite, les SAE ne forment pas à eux seuls un système symbolique : ils manquent de langage formel, d’opérateurs composés et de règles exécutables. Leur véritable valeur réside dans leur rôle de pont : ils fournissent un système de coordonnées conceptuelles partagées, permettant d’aligner différentes ontologies, graphes de connaissances ou règles existantes sur une même représentation neuronale. Cette approche offre plusieurs avantages : fusion de symboles provenant de systèmes différents, découverte de relations cachées entre domaines, et identification des lacunes dans les systèmes symboliques existants. Elle reste scalable car les SAE sont entraînés hors ligne, et les systèmes symboliques peuvent rester petits et spécialisés. À l’inference, le réseau neuronal fait le travail lourd, tandis que les systèmes symboliques interviennent là où la transparence et la responsabilité sont critiques. Pour que les SAE soient efficaces comme ponts, ils doivent remplir trois conditions : continuité sémantique (des phrases proches doivent activer des ensembles similaires de caractéristiques), interprétabilité partielle (une partie des caractéristiques doit être compréhensible par l’humain), et rélevance comportementale (intervenir sur une caractéristique doit modifier de façon prévisible le comportement du modèle). L’entraînement sur de grands modèles bien entraînés et une dimension suffisante du code sont essentiels. Enfin, les systèmes symboliques ne sont pas seulement des règles : ils sont des cartes d’alignement entre l’IA et les valeurs humaines. Introduire des concepts comme « devoir de soin » ou « attribut protégé » signifie fixer des repères sur lesquels le système doit s’engager, être audité, et corrigé. Comme Zi-Chan, qui a rendu public le code pénal chinois en 536 av. J.-C., l’IA d’aujourd’hui a besoin d’un « dévoilement » de ses principes internes. Les SAE, en offrant un espace conceptuel partagé, pourraient devenir l’outil clé pour rendre l’IA plus transparente, responsable et alignée sur les normes humaines.
