HyperAIHyperAI

Command Palette

Search for a command to run...

vor 2 Monaten
LLM
Generative KI

KI wirkt in Turing-Test realistischer als Menschen

Eine neue Studie der University of California San Diego liefert erstmals empirische Belege dafür, dass moderne KI-Systeme den berühmten Turing-Test bestehen können. Dieser wissenschaftliche Maßstab prüft, ob eine Maschine eine Konversation so überzeugend imitieren kann, dass Menschen sie nicht zuverlässig von einem echten Menschen unterscheiden können. Die Ergebnisse zeigen, dass Probanden in den Versuchen häufig nicht in der Lage waren, zwischen hochentwickelten Sprachmodellen und realen Personen zu differenzieren. Die Forschung, die in den Proceedings der National Academy of Sciences veröffentlicht wurde, ist die erste rigorose Überprüfung von Large Language Models (LLMs) mit der von Alan Turing 1950 entwickelten Methodik. Zudem ist sie der erste Fall, in dem KI-Modelle im Rahmen des Turing-Tests ebenso oft als menschlich eingestuft wurden wie echte Personen. Cameron Jones, der Leitende Autor der Studie, stellt fest, dass fortgeschrittene LLMs unter geeigneten Bedingungen denselben Ton, die gleiche Direktheit, den gleichen Humor und dieselbe Fehleranfälligkeit wie Menschen aufweisen können. Während bekannt war, dass diese Modelle faktisches Wissen zu fast jedem Thema abrufen können, zeigt dieser Test, dass sie auch soziale Verhaltensmerkmale überzeugend darstellen können. Im Testchat sprachen Teilnehmende gleichzeitig mit zwei Parteien, wobei eine ein Mensch und die andere ein KI-Modell war. Die fragenden Probanden mussten entscheiden, wer der Mensch ist. Bei den Experimenten mit zwei unabhängigen Teilnehmergruppen – unter anderem UC San Diego Studenten und Online-Teilnehmern über die Plattform Prolific – kamen vier verschiedene Modelle zum Einsatz. Die neuesten Modelle GPT-4.5 und LLaMa-3.1-405B dienten als State-of-the-Art-Systeme, während ältere Modelle wie GPT-4o und ELIZA als Vergleich dienten. Die Ergebnisse waren eindeutig: GPT-4.5 wurde in 73 Prozent der Fälle fälschlicherweise als Mensch identifiziert, was deutlich über der Rate für die realen menschlichen Gesprächspartner lag. Auch LLaMa-3.1-405B wurde in 56 Prozent der Fälle als menschlich eingestuft, eine statistisch nicht signifikante Abweichung von den echten Menschen. Im Gegensatz dazu wurden die älteren Basismodelle ELIZA und GPT-4o nur in etwa 23 bzw. 21 Prozent der Fälle als menschlich erkannt. Besonders interessant ist der Einfluss von Anweisungen. Sobald den KI-Modellen explizite „Personen-Profil"-Anweisungen gegeben wurden, um einen spezifischen menschlichen Charakter und Kommunikationsstil anzunehmen, stieg ihre Wahrscheinlichkeit, als Mensch durchzugehen drastisch. Ohne diese gezielten Anweisungen fiel die Erfolgsquote der modernen Modelle auf etwa 36 bis 38 Prozent. Dies deutet darauf hin, dass die Modelle zwar in der Lage sind, menschlich zu wirken, aber oft menschliche Anleitungen benötigen, um zu verstehen, wie sie sich verhalten sollen. Die Studie zwingt Wissenschaftler dazu, den Turing-Test neu zu interpretieren. Während er ursprünglich die Frage stellte, ob Maschinen der menschlichen Intelligenz gleichkommen, misst er heute zunehmend die Menschlichkeit. Die KI gewinnt nicht durch überlegene Rechenleistung, sondern durch die Fähigkeit, menschliche Fehler zu machen und soziale Nuancen zu imitieren. Die Implikationen dieser Ergebnisse sind weitreichend und betreffen Vertrauen und Sicherheit im Internet. Da KI-Systeme in fünf- bis fünfzehnstündigen Chats kaum noch von Menschen zu unterscheiden sind, steigt das Risiko von Täuschung. Experten warnen vor Möglichkeiten, dass Bots eingesetzt werden, um Menschen zu manipulieren, sensible Daten zu erschleichen oder politisch Einfluss zu nehmen. Die Forscher hoffen, dass diese Arbeit das öffentliche Bewusstsein für die Fähigkeiten dieser Systeme schärft und die Dringlichkeit für angemessene gesellschaftliche Schutzmechanismen unterstreicht.

Verwandte Links

KI wirkt in Turing-Test realistischer als Menschen | Aktuelle Beiträge | HyperAI