Une nouvelle étude arXiv révèle que des modèles de langage et des architectures d'intelligence artificielle très différentes développent spontanément des représentations numériques similaires, un phénomène qualifié d'évolution convergente. En analysant des réseaux de neurones tels que les Transformers, les RNN linéaires, les LSTM et les embeddings de mots classiques, les chercheurs ont observé que tous apprennent à représenter les nombres en utilisant des caractéristiques périodiques dominantes avec des périodes spécifiques de 2, 5 et 10. Cette découverte suggère une tendance inhérente dans l'apprentissage des modèles à base de texte naturel. Cependant, l'analyse approfondie a mis en lumière une hiérarchie en deux niveaux au sein de ces caractéristiques. Bien que tous les modèles cités affichent des pics dans le domaine de Fourier correspondant à ces périodes, tous ne possèdent pas les mêmes capacités fonctionnelles. Seuls certains modèles parviennent à apprendre des caractéristiques géométriquement séparables. Cette propriété est cruciale car elle permet de classer un nombre modulo T de manière linéaire. La recherche démontre mathématiquement que la parcimonie dans le domaine de Fourier est une condition nécessaire pour cette séparabilité géométrique, mais elle n'est en aucun cas suffisante à elle seule. Cette distinction explique pourquoi certains modèles réussissent des tâches de raisonnement numérique alors que d'autres échouent, malgré des caractéristiques spectrales similaires. L'étude examine empiriquement les conditions dans lesquelles l'entraînement des modèles aboutit à des caractéristiques géométriquement séparables. Les résultats indiquent que le jeu de données, l'architecture du réseau, l'optimiseur utilisé et le tokenizeur jouent tous un rôle clé dans ce processus. Deux voies distinctes ont été identifiées par lesquelles les modèles acquièrent ces caractéristiques essentielles. La première voie repose sur des signaux de co-occurrence complémentaires présents dans les données de langage général, incluant les interactions entre le texte et les nombres ainsi que les interactions entre différents nombres eux-mêmes. La seconde voie provient de la résolution de problèmes d'addition impliquant plusieurs jetons, bien que l'ajout de jetons uniques ne suffise pas à générer ces représentations. Ce phénomène d'évolution convergente met en évidence que des modèles variés, entraînés sur des signaux d'apprentissage différents, convergent vers des solutions fonctionnelles similaires pour traiter les nombres. Cela indique que certaines stratégies de représentation numérique ne sont pas le produit d'une architecture spécifique, mais émergent naturellement lorsque les modèles sont confrontés à des données linguistiques complexes. Ces résultats ont des implications importantes pour la compréhension de la façon dont les intelligences artificielles internalisent les concepts mathématiques et numériques, suggérant une universalité dans l'apprentissage des structures numériques au-delà des détails architecturaux spécifiques. La recherche souligne également l'importance de combiner des signaux de données diversifiés pour favoriser le développement de capacités de raisonnement robuste chez les modèles de langage.