HyperAIHyperAI

Command Palette

Search for a command to run...

vor 20 Tagen
Transformer
LLM

KI-Aufmerksamkeit kollabiert

Aktuelle Forschungsergebnisse decken eine fundamentale Schwachstelle bei Large Language Models auf: Diese scheitern an klassischen psychologischen Aufgaben zur Messung von Exekutivkontrolle. Ein Team um Suketu Chandrakant Patel, Hongbin Wang und Jin Fan untersuchte die Unterschiede zwischen menschlicher Aufmerksamkeit und der mechanischen Aufmerksamkeitssteuerung von Transformer-Modellen am sogenannten Stroop-Paradigma. Dabei müssen Probanden die Druckfarbe eines Wortes benennen, während die semantische Bedeutung ignoriert wird. Die Ergebnisse der Studie wurden im Fachjournal PNAS Nexus veröffentlicht. Der Versuchsaufbau offenbarte eine klare Divergenz zwischen Aufgabeerkennung und -ausführung. Selbst wenn die Modelle das zugrundeliegende Prinzip des Tests korrekt identifizieren, reicht dies nicht aus, um die zur Konfliktbewältigung notwendigen Mechanismen zu aktivieren. Bei einer kurzen Liste von fünf inkongruenten Wörtern erzielten die Systeme noch akzeptable Ergebnisse. Mit steigender Listenlänge brach die Genauigkeit jedoch drastisch ein. GPT-4o sank von 91 Prozent auf fünf Wörtern auf 57 Prozent bei zehn Wörtern und lediglich 15 Prozent bei vierzig Wörtern. Claude 3.5 Sonnet blieb bis zur zwanzigsten Wortmarke stabil, fiel dann aber auf 24 Prozent ab. In Tests mit gemischten Listen aus kongruenten und inkongruenten Einträgen verschlechterte sich die Leistung bei den inkongruenten Items auf nahe null Prozent. Ähnliche Einbrüche zeigten GPT-5, Claude Opus 4.1 und Gemini 2.5. Die Modelle neigten dazu, automatisch den Wortlaut statt der Druckfarbe auszugeben. Während Menschen die automatische Wortlesung bei langer Belastung unterdrücken und den Fokus auf die eigentliche Aufgabe halten, zeigt dieser Leistungsabfall bei KI-Systemen grundlegende Einschränkungen im Vergleich zur biologischen Aufmerksamkeit. Die Autoren argumentieren, dass die reine Erkennung der Aufgabenstruktur nicht ausreicht, um exekutive Kontrollprozesse in neuronalen Netzen zu aktivieren. Die Studie unterstreicht, dass aktuelle Sprachmodelle zwar Mustererkennung auf hohem Niveau beherrschen, jedoch in der dynamischen Ressourcenallokation und inhibitorischen Kontrolle biologischen Systemen deutlich unterlegen sind. Diese Erkenntnisse haben Relevanz für die Weiterentwicklung von Architekturen, die robustere Aufmerksamkeitsmechanismen und stabile Entscheidungen unter kognitiver Belastung erfordern.

Verwandte Links

KI-Aufmerksamkeit kollabiert | Aktuelle Beiträge | HyperAI