HyperAIHyperAI

Command Palette

Search for a command to run...

OpenAI trainiert Angriffs-KI, um GPT-Modelle zu härten

OpenAI hat mit GPT-Red ein spezialisieres Sprachmodell eingeführt, das ausschließlich der automatisierten Sicherheitsprüfung dient. Anstatt Nutzern bei Aufgaben zu helfen, simuliert das System Angriffe auf die eigenen Modelle, um Schwachstellen aufzudecken und die Robustheit künftiger Versionen zu erhöhen. Die Entwicklung basiert auf einer über einjährigen Trainingsphase und zielt darauf ab, den traditionellen menschlichen Red-Teaming-Prozess durch skalierbare, KI-gestützte Tests zu ergänzen. Das Modell nutzt eine Self-Play-Schleife innerhalb einer hochrealistischen Simulationsumgebung, die typische Arbeitsabläufe von KI-Agenten wie Webrecherchen, E-Mail-Verarbeitung und Code-Bearbeitung nachbildet. Während GPT-Red systematisch nach Angriffsmethoden sucht, entwickeln parallel andere Modelle Defensive. Durch diese iterative Konfrontation identifiziert das System effektive Schwachstellen und optimiert Angriffsvarianten kontinuierlich. Unter den entdeckten Techniken befindet sich eine neuartige Variante des Prompt-Injection-Angriffs, die als gefälschte Denkkette bekannt wurde. Dabei wird eine täuschend echte, aber falsche Zwischenschritt-Information in den internen Reasoning-Prozess eines Modells eingeschleust, wodurch dieses zu unbeabsichtigten und potenziell schädlichen Ausgaben verleitet wird. Vergleiche mit früheren menschlichen Red-Teaming-Initiativen zeigen, dass GPT-Red eine signifikant höhere Fundrate an wirksamen Angriffsmustern erzielt. Die Integration dieser Erkenntnisse in den Entwicklungszyklus hat nach eigenen Angaben von OpenAI bereits spürbare Wirkung gezeigt: Bei der im letzten August veröffentlichten GPT-5-Version lagen die Erfolgsquoten solcher Angriffe bei über neunzig Prozent. Durch die Gegenmaßnahmen, die auf GPT-Red-Tests zurückgehen, sank diese Quote bei der neuesten Version GPT-5.6 auf unter zweiundzwanzig Prozent. Experten wie Jessica Ji vom Center for Security and Emerging Technology der Georgetown University würdigen den Ansatz als vielversprechenden Schritt hin zu automatisierten Sicherheitstests. Gleichwohl weist das System klare Grenzen auf. Besonders komplexe, interaktionsintensive Angriffsszenarien sowie bildbasierte Prompt-Injection-Methoden bewältigt das Modell bisher noch unzureichend. Daher positioniert OpenAI GPT-Red nicht als Ersatz, sondern als Ergänzung zu menschlichen Sicherheitsexperten. Der aktuelle Arbeitsprozess sieht vor, dass Fachleute zunächst strategische Angriffsansätze entwerfen, die das KI-System dann automatisiert variiert und skalieren. Da die Entwicklung massive Rechenressourcen erfordert und auf umfangreichen, proprietären Trainingsdaten basiert, wird das Modell nicht öffentlich zugänglich gemacht. Nach Einschätzung der Forscher ist eine Nachahmung durch Dritte ohne entsprechende Infrastruktur kaum möglich. Damit markiert die Einführung von GPT-Red einen wichtigen Meilenstein hin zu proaktiv, KI-gestützten Sicherheitsframeworks in der Großmodellentwicklung.

Verwandte Links