HyperAIHyperAI

Command Palette

Search for a command to run...

2025: KI-Revolution durch CoT und RL – von stochastischen Papageien zu agilen Denkmaschinen

Zum Ende des Jahres 2025 hat sich die Sicht auf Künstliche Intelligenz, insbesondere auf große Sprachmodelle (LLMs), grundlegend verändert. Nach jahrelanger Kritik, die LLMs als „stochastische Papageien“ bezeichnete – also als reine Probabilistik-Maschinen ohne echte Verstehensfähigkeit oder intentionale Planung – hat sich die wissenschaftliche Gemeinschaft nun weitgehend von dieser Sichtweise distanziert. Die zentrale Erkenntnis: Die sogenannte „Chain of Thought“ (CoT), also die Fähigkeit, Schritt-für-Schritt-Argumentationen zu generieren, hat die Leistungsfähigkeit von LLMs entscheidend verbessert. CoT wirkt, weil es zwei Mechanismen kombiniert: Erstens ermöglicht es eine tiefere Exploration des internen Repräsentationsraums – die Modelle können relevante Konzepte und Informationen aus dem Kontextfenster effizienter abrufen und verknüpfen. Zweitens, insbesondere in Kombination mit Verstärkungslernen (Reinforcement Learning, RL) und verifizierbaren Belohnungssignalen, lernen die Modelle, Token sequenziell zu generieren, wobei jeder Schritt den internen Zustand verändert und darauf abzielt, zu einer sinnvollen, nützlichen Antwort zu konvergieren. Dieser Prozess erinnert an kognitiven Ablauf, obwohl die Architektur weiterhin auf dem Next-Token-Prädiktions-Paradigma basiert. Die Annahme, dass Skalierung nur durch mehr Token (z. B. längere Eingaben oder größere Modelle) möglich sei, ist obsolet geworden. Durch RL mit klaren, messbaren Belohnungen – etwa bei der Optimierung von Code für Geschwindigkeit – können LLMs über lange Zeiträume hinweg kontinuierlich verbessert werden, was die Grenzen der traditionellen Skalierung aufhebt. Obwohl wir noch weit von einem „AlphaGo-Zug 37“-Moment entfernt sind, ist ein solcher Sprung in der Zukunft nicht ausgeschlossen. Die Fortschritte im RL für LLMs gelten bereits als der nächste große Wachstumspunkt in der KI-Entwicklung. Auch in der Softwareentwicklung hat sich die Einstellung zu KI-Unterstützung dramatisch gewandelt. Frühere Widerstände der Entwickler sind weitgehend verschwunden. Selbst wenn LLMs Fehler machen, ist der Ertrag an nützlichem Code und hilfreichen Vorschlägen so hoch, dass der Einsatz für viele unverzichtbar geworden ist. Die Community spaltet sich in zwei Gruppen: Einerseits nutzen viele LLMs als kollaborative Partner – über Webinterfaces von Gemini, Claude und anderen –, andererseits entstehen autonome, agentenbasierte Systeme, die Code selbstständig schreiben und testen. Einige renommierte KI-Forscher glauben, dass die Transformerverfassung wie bei den frühen Tagen des Transformers erneut durch alternative Architekturen ersetzt werden könnte – etwa mit expliziten symbolischen Repräsentationen oder „Weltmodellen“. Doch der Autor betont, dass LLMs bereits eine differenzierbare Maschine sind, die diskrete Denkprozesse approximieren kann. Es ist durchaus möglich, dass AGI – auch ohne radikale Paradigmenwechsel – über bestehende Architekturen erreicht wird, und zwar durch vielfältige, unterschiedliche Ansätze. Die Behauptung, CoT habe LLMs fundamental verändert, wird als irreführend kritisiert. Tatsächlich bleibt die Architektur unverändert, und CoT entsteht exakt wie jedes andere Token: Schritt für Schritt, durch die gleiche Prädiktionsfunktion. Die scheinbare Metamorphose ist eher eine Verbesserung der Ausgabequalität als eine tiefgreifende Veränderung der Natur. Auch der ARC-Test, ursprünglich als Gegenbeweis für LLMs konzipiert, erscheint heute weniger unüberwindbar. Kleine, spezialisierte Modelle schneiden gut bei ARC-AGI-1 ab, während große LLMs mit CoT beeindruckende Ergebnisse bei ARC-AGI-2 erzielen – obwohl sie nach gängiger Ansicht solche Leistungen nicht erbringen sollten. So ist der Test von einem Anti-LLM-Test zu einer Bestätigung der Fähigkeiten von LLMs geworden. Die zentrale Herausforderung für die nächsten 20 Jahre bleibt, die menschliche Existenz vor den Risiken von übermächtiger KI zu schützen – die Vermeidung der Auslöschung steht an erster Stelle.

Verwandte Links

2025: KI-Revolution durch CoT und RL – von stochastischen Papageien zu agilen Denkmaschinen | Aktuelle Beiträge | HyperAI