KI kennzeichnet eigene Zweifel für mehr Zuverlässigkeit

Führende KI-Modelle zeigen häufig ein unzuverlässiges Verhalten: Sie antworten korrekt mit großer Überzeugung oder irren sich trotz vermeintlicher Unsicherheit. Eine aktuelle Studie der University of California, Riverside, entlarvt diese Diskrepanz als fundamentales Problem der Internarchitektur großer Sprachmodelle. Die Forschungsergebnisse, die auf dem Preprint-Server arXiv veröffentlicht wurden, liefern Entwicklern einen neuen Ansatz, um KI-Systeme präziser und vertrauenswürdiger zu machen. Das Forschungsteam um den Doktoranden Het Patel untersuchte die offenen Modelle Meta Llama-3.1-8B und Google Gemma-2-9B. Mittels sogenannter sparse Autoencoder analysierten sie die neuronale Aktivität während der Beantwortung von Multiple-Choice-Fragen und kategorisierten die Ergebnisse nach Korrektheit und Konfidenz. Dabei ließ sich nachweisen, dass beide Eigenschaften auf völlig separaten internen Merkmalen basieren. Die Forscher identifizierten drei Feature-Typen: solche, die primär Unsicherheit anzeigen, solche, die mit fehlerhaften Antworten korrelieren, sowie verknüpfte Merkmale, die beide Zustände gleichzeitig abbilden. Im experimentellen Teil deaktivierte das Team einzelne dieser Merkmale nachträglich, ohne das Modell erneut trainieren zu müssen. Dieser Eingriff verhielt sich wie das Drehen an internen Reglern. Das Ausschalten unsicherheitsbezogener Merkmale senkte die Genauigkeit deutlich, während die Deaktivierung rein fehlerassoziierter Features kaum Auswirkungen hatte. Besonders relevant war die Manipulation der verknüpften Features: Ihre Unterdrückung steigerte die Antwortgenauigkeit um bis zu 1,1 Prozent und reduzierte die fälschliche Unsicherheit um bis zu 75 Prozent. Dieser Effekt war konsistent über verschiedene Benchmark-Datensätze hinweg. Ein weiterer Versuch unterstreicht das praktische Potenzial der Ergebnisse. Identifizierte interne Signale aus einer mittleren Schicht des Llama-Modells dienten als Frühwarnsystem für potenziell falsche Antworten. Wenn die KI auf Basis dieser Signale bestimmte Fragen ausließ, stieg die Genauigkeit von 62 auf 81 Prozent, wobei sie noch rund 53 Prozent der Fragen beantwortete. Ein einfaches Abstinenz-Modell brachte dagegen nur 64 Prozent Genauigkeit. Die Merkmale erwiesen sich zudem als übertragbar, was auf eine grundsätzliche Modellcharakteristik und nicht auf benchmark-spezifische Artefakte hindeutet. Die Studie stellt die gängige Annahme in der KI-Forschung infrage, dass Modellkonfidenz automatisch Korrektheit bedeute. Stattdessen eröffnet die Arbeit einen effizienten Pfad zur Nachjustierung bereits trainierter Systeme. Patel weist darauf hin, dass die Methode auf beliebige erwünschte oder unerwünschte Verhaltensweisen übertragbar sei. Durch gezielte Modulation interner Features ließen sich KI-Systeme präziser kalibrieren, ohne den ressourcenintensiven Prozess eines vollständigen Retraining. Dies ist ein wichtiger Schritt hin zu robusteren KI-Anwendungen in sicherheitskritischen Entscheidungsprozessen.