Große Sprachmodelle (LLMs) haben in jüngster Zeit erhebliche Fortschritte bei logischen und schlussfolgernden Aufgaben gezeigt, insbesondere wenn sie mit speziellen Techniken wie schrittweiser Argumentation und Selbstüberprüfung fine-tuned wurden – sogenannte große Schlussfolgerungsmodelle (LRMs). Diese Modelle erreichen beeindruckende Ergebnisse auf etablierten Benchmark-Datasets wie NLGraph, was zu Ansprüchen führte, sie könnten überall dort generalisieren, wo komplexe Schlussfolgerungen erforderlich sind – etwa in Mathematik, Physik, Medizin oder Recht. Doch eine neue Studie stellt diese Hoffnungen in Frage. Durch eine genauere Skalierung der Komplexität von Schlussfolgerungsproblemen zeigen die Forscher, dass die bisherigen Benchmarks tatsächlich nur geringe bis moderate Schwierigkeitsgrade abdecken. Um dies systematisch zu testen, entwickelten sie den Deep Reasoning Dataset (DeepRD), einen generativen Datensatz, der unendlich viele Beispiele mit kontrollierbarer, steigender Komplexität erzeugt – insbesondere für graphbasierte Verbindungsprobleme und natürliche Sprache in Beweisplanung. Die Evaluation zeigt, dass LRMs bei steigender Komplexität plötzlich und dramatisch versagen, ohne signifikante Generalisierungsfähigkeit. Selbst wenn sie in einem bestimmten Komplexitätsbereich hervorragend abschneiden, brechen sie bei nur geringfügig höherer Anforderung zusammen. Die Analyse realer Datenquellen – wie große Wissensgraphen, Interaktionsgraphen und mathematische Beweisdatensätze – offenbart, dass der Großteil der realen Anwendungen tatsächlich in dem Bereich liegt, in dem die Modelle funktionieren. Doch die sogenannten „langen Schwänze“ solcher Verteilungen, also seltene, aber hochkomplexe Fälle, bergen ein erhebliches Risiko für Ausfälle. Dies bedeutet: LRMs sind nützlich für viele aktuelle Anwendungen, aber nicht robust gegenüber der Komplexität, die in der Praxis auftreten kann. Die Studie unterstreicht somit die Notwendigkeit neuer Ansätze, die über die Komplexität der Trainingsdaten hinaus generalisieren können, anstatt nur in einem begrenzten, oft unzureichend repräsentativen Bereich zu performen. Industrieexperten sehen die Ergebnisse als wichtigen Realitätscheck für die Entwicklung von KI in kritischen Bereichen. „Die Leistung von LRMs ist beeindruckend, aber sie ist wie ein guter Mechaniker, der nur mit Werkzeugen für kleine Reparaturen ausgestattet ist – bei größeren Problemen bricht er zusammen“, sagt ein Experte aus dem Bereich medizinischer KI. Unternehmen wie OpenAI, Anthropic und Google DeepMind setzen bereits auf LRM-ähnliche Architekturen, insbesondere für Anwendungen in Forschung und Beratung. Doch die Studie warnt davor, diese Modelle als allgemein anwendbare KI-Intelligenz zu betrachten. Die Ergebnisse betonen, dass die Entwicklung von KI, die echte, tiefe Schlussfolgerung leistet, weiterhin eine Herausforderung bleibt – insbesondere wenn es um die Bewältigung unerwartet komplexer, realweltrelevanter Szenarien geht.