Verschiedene Sprachmodelle zeigen ein Phänomen der konvergenten Evolution: Trotz unterschiedlicher Architekturen und Trainingsdaten entwickeln sie ähnliche Repräsentationen für Zahlen. Eine neue Untersuchung analysiert, wie Modelle, die auf natürlichem Text trainiert wurden, Zahlen durch periodische Merkmale darstellen, wobei die dominanten Perioden bei den Werten T=2, 5 und 10 liegen. Die Studie identifiziert eine zweistufige Hierarchie dieser Merkmale. Während Transformer, lineare rekurrente neuronale Netze, LSTMs sowie klassische Wort-Vektoreingebungen auf unterschiedlichste Weise trainiert wurden und alle Merkmale mit periodischen Spitzen im Fourier-Domäne besitzen, zeigen nicht alle Modelle eine geometrische Trennbarkeit. Diese Eigenschaft ist notwendig, um eine Zahl modulo T mit einem linearen Klassifikator korrekt zu bestimmen. Um diese Diskrepanz zu erklären, beweisen die Autoren, dass Spärlichkeit im Fourier-Domäne zwar notwendig, aber nicht ausreichend für eine geometrische Trennbarkeit im Modul-T ist. Empirische Untersuchungen zeigen, dass Datenbeschaffenheit, Modellarchitektur, Optimierer und Tokenizer eine entscheidende Rolle dabei spielen, ob das Training zu geometrisch trennbaren Merkmalen führt. Es wurden zwei unterschiedliche Wege identifiziert, auf denen Modelle diese separablen Merkmale erlernen können. Zum einen können sie aus komplementären Ko-Vorkommenssignalen in allgemeinen Sprachdaten gelernt werden, insbesondere durch das gleichzeitige Auftreten von Text und Zahlen oder durch Interaktionen zwischen verschiedenen Zahlen. Zum anderen ermöglichen auch Rechenaufgaben, die das Hinzufügen mehrerer Token erfordern, das Erlernen dieser Merkmale, wobei einzelne Token-Hinzufügungen hierfür nicht ausreichen. Das Ergebnis unterstreicht, wie unterschiedliche Modelle durch verschiedene Trainings-Signale zu ähnlichen Merkmalen gelangen. Dies verdeutlicht das Konzept der konvergenten Evolution im Bereich des Feature-Learnings. Die Forschung beleuchtet nicht nur die Mechanismen, durch die Maschinen Zahlen verstehen, sondern liefert auch wichtige Erkenntnisse darüber, welche Faktoren das Lernen strukturierter mathematischer Konzepte in künstlichen neuronalen Netzen fördern oder behindern. Die Erkenntnis, dass spezifische Aufgaben wie die Addition mehrerer Token notwendig sein können, um geometrisch trennbare Strukturen zu erzeugen, ist von großer Bedeutung für die Weiterentwicklung von Modellen, die mit Zahlen und logischen Operationen umgehen müssen. Die Studie stammt aus den Bereichen Computational Linguistics, Künstliche Intelligenz und maschinelles Lernen und trägt zur besseren theoretischen Fundierung des Verständnisses von Sprachmodellen bei. Durch das Verständnis dieser evolutionären Ähnlichkeiten in der Merkmalsentwicklung hoffen die Forscher, robuste und effizientere Modelle der Zukunft zu entwickeln, die komplexe numerische Aufgaben zuverlässiger lösen können. Die Ergebnisse deuten darauf hin, dass die Art der Trainingsdaten und die gewählte Modellarchitektur eng miteinander verknüpft sind, um spezifische kognitive Fähigkeiten wie das Zahlenverständnis hervorzubringen.