Les réseaux de neurones profonds (DNN), fondement des modèles d’intelligence artificielle comme les grands modèles linguistiques, apprennent à faire des prédictions précises en analysant de grandes quantités de données à travers des couches successives. Chaque couche transforme les données d’entrée en « caractéristiques » de plus en plus abstraites, facilitant ainsi la discrimination entre catégories (par exemple, chats vs chiens). Ce processus d’apprentissage des caractéristiques, central à la performance des DNN, a longtemps fait l’objet d’études, mais reste complexe à comprendre. Des chercheurs de l’Université de Bâle et de l’Université des sciences et technologies de Chine ont récemment proposé une nouvelle approche théorique, fondée sur la géométrie et la physique, pour modéliser ce phénomène. Ils ont découvert un « diagramme de phase » — analogue à ceux utilisés en thermodynamique pour décrire les états de la matière — qui décrit comment les DNN apprennent des caractéristiques selon différents paramètres de formation, comme le taux d’apprentissage ou le bruit. Cette découverte s’inspire d’un phénomène observé : dans les réseaux bien entraînés, chaque couche améliore de manière constante la séparation des données entre classes, un comportement qu’ils ont qualifié de « loi de séparation des données ». Ce phénomène est stable pour des hyperparamètres courants, mais disparaît avec des choix différents, ce qui a conduit les chercheurs à chercher une explication fondamentale. L’idée clé est venue d’analogies physiques. Après avoir échangé des images de divers objets en couches — comme des cintres rétractables ou des règles pliantes —, ils ont choisi le modèle de chaîne ressort-bloc, un système mécanique classique utilisé pour étudier les interactions entre forces linéaires (ressorts) et non linéaires (frottement). Dans ce modèle, l’extension des ressorts correspond à la simplification des données par chaque couche du réseau, tandis que le frottement représente la non-linéarité des DNN. Le bruit d’entraînement équivaut à une vibration du système, permettant aux blocs de « quitter le sol » temporairement, ce qui réduit les inégalités de séparation — un effet similaire à l’« huilage acoustique » ou aux phénomènes de « stick-slip » en géophysique. Cette analogie a permis de reproduire fidèlement les courbes de séparation des données observées lors de l’entraînement des DNN. Plus important encore, la forme de ces courbes prévoit la capacité du réseau à généraliser à des données inédites. En modulant le bruit ou la non-linéarité, on peut contrôler cette forme, ouvrant la voie à des méthodes d’entraînement plus rapides et plus efficaces, notamment pour les grands réseaux comme les transformers. Cette théorie, phénoménologique mais générale, dépasse les modèles simplifiés qui étudient un seul facteur à la fois. Elle intègre simultanément profondeur, non-linéarité, bruit, normalisation, etc., offrant une vision unifiée de l’apprentissage des caractéristiques. Elle pourrait devenir un outil puissant pour diagnostiquer les DNN : en analysant la répartition interne des « charges » (comme dans les cartes de contrainte en mécanique), on pourrait identifier des couches surchargées (signe d’overfitting) ou inutilisées (signe de redondance), permettant d’optimiser les architectures. Les chercheurs espèrent maintenant dériver une explication fondamentale de ce comportement à partir de principes premiers, tout en appliquant cette théorie pour améliorer l’entraînement des modèles à grande échelle. Leur approche, basée sur l’intuition physique, offre une voie prometteuse pour comprendre et contrôler l’intelligence artificielle, en transformant des réseaux de milliards de paramètres en systèmes mécaniques simples à analyser.