Childlike AI erklärt Strukturbildung in Sprachen
Neue Forschung der Universität Witwatersrand in Südafrika beleuchtet, warum Sprache über Generationen hinweg zunehmend strukturierter wird. Die Studie untersucht die Interaktion zwischen der menschlichen Sprachentwicklung und dem Verhalten großer künstlicher Intelligenz-Modelle. Der Kern der Entdeckung liegt im Konzept des iterierten Lernens, einem Prozess, bei dem Sprache von einer Generation zur nächsten weitergegeben wird und sich dabei automatisch strukturiert, um das Lernen zu erleichtern. Die Forscher entwickelten ein computergestütztes Modell mit kindähnlichen Eigenschaften, das sie mit Daten trainierten, die menschliche Sprachmerkmale nachahmen. Durch die Beobachtung der Entwicklung dieser digitalen Generationen stellten sie fest, dass diese genau wie menschliche Kinder Strukturen in den Daten erkennen und bevorzugen. Dr. Devon Jarvis, leitender Autor der Studie und Dozent an der Fakultät für Computerwissenschaft und Angewandte Mathematik, erklärte, dass die Datenmenge über die Generationen hinweg strukturierter werde, weil dies den Lernprozess vereinfacht. Die Ergebnisse wurden im Fachjournal Proceedings of the National Academy of Sciences veröffentlicht. Der Prozess beginnt bereits im Kindesalter. Kinder erfassen die Welt hierarchisch: Zuerst lernen sie Grundbegriffe, bevor sie sich zu komplexeren Zusammenhängen vordringen. Ein klassisches Beispiel ist das Verständnis von Tieren: Kinder lernen zunächst, dass Vögel fliegen, und kommen bei Pinguinen zunächst in Verwirrung, da diese flugunfähig sind. Derartige Übergeneralisierungen führen zu Fehlern, die jedoch essenziell sind, um neues Wissen zu integrieren und das Verständnis zu verfeinern. Beim Weitergeben von Sprache von Eltern an Kinder entstehen durch die Komplexität der Sprache zwangsläufig Fehler. Diese sind jedoch nicht zufällig, sondern entstehen durch das Überanwenden von Regeln. Das Ergebnis ist ein Filterungsprozess: Leicht zu erlernende Sprachteile werden beibehalten und wiederverwendet, während unstrukturierte oder schwer verständliche Teile vergessen werden. Jarvis merkt an, dass zwar einzelne Individuen gut lernen, aber erst der Kommunikationsdruck über Generationen hinweg die Tiefe ihrer Intelligenz und die Entstehung von Struktur offenbart. Für die Studie nutzten die Forscher tiefe lineare neuronale Netzwerke als mathematische Modelle für die Informationsverarbeitung im Gehirn. Dabei zeigte sich, dass iteriertes Lernen nur funktioniert, wenn das Netzwerk tief genug ist, also mehrere Verarbeitungsschichten besitzt, und die Sprache eine gewisse Komplexität aufweist. Oberflächliche Netzwerke mit wenigen Schichten waren nicht in der Lage, die strukturierten Regularitäten zu erfassen, die Sprache überhaupt erst lernbar machen. Dies unterstreicht die Bedeutung der Architektur eines Lernsystems und der Vielfalt seiner Umgebung für die Verarbeitung von Sprache. Die Arbeit verbindet etablierte Modelle der kindlichen Entwicklung mit linguistischen Theorien zum iterierten Lernen. Sie zeigt eindrucksvoll auf, dass Sprache evolutionär so angepasst wird, dass sie für die spezifische Lernweise von Kindern zugänglich ist. Da diese Prinzipien bereits in einem einfachen technischen Modell nachweisbar sind, das den Grundlagen moderner KI-Werkzeuge entspricht, eröffnet die Forschung wertvolle Einblicke in die fundamentalen Prinzipien der Kognition. Dies bietet wichtige Anhaltspunkte für die Weiterentwicklung generativer KI-Modelle, die stark auf Skalierbarkeit und emergente Fähigkeiten angewiesen sind.
