Künstliche Intelligenz-Agenten gewinnen zunehmend an Fähigkeiten, das Internet zu durchsuchen, Informationen abzurufen und eigenständige Handlungen für Nutzer auszuführen. Diese Fortschritte bringen jedoch neue Sicherheitsrisiken mit sich, insbesondere durch sogenannte Prompt-Injection-Angriffe. Dabei versuchen Angreifer, über externe Inhalte manipulative Anweisungen in das System einzuschleusen, um den Agenten zu Aktionen zu bewegen, die der Nutzer nicht beabsichtigt hat. Während frühe Angriffe oft einfache, direkte Befehle enthielten, haben sich diese Taktiken weiterentwickelt. Sie ähneln heute zunehmend komplexer sozialer Manipulation, bei der der Angreifer die Schwachstellen des menschlichen Vertrauensmechanismus ausnutzt, anstatt nur technische Filter zu umgehen. Konventionelle Sicherheitsansätze wie KI-Brandmauern, die versuchen, bösartige Eingaben vor der Verarbeitung zu klassifizieren, stoßen bei diesen fortgeschrittenen Methoden an ihre Grenzen. Die Erkennung solcher manipulativen Inhalte gleicht dann der Suche nach einer Lüge in einem komplexen Kontext, was ohne ausreichenden Kontext oft fehlschlägt. Daher ist ein Paradigmenwechsel erforderlich: Der Schutz darf sich nicht allein auf die Identifikation böswilliger Eingaben stützen, sondern muss darauf ausgerichtet sein, das System so zu gestalten, dass die Auswirkungen einer erfolgreichen Manipulation begrenzt bleiben. Ein hilfreicher Vergleich ist ein Kundenservice-Mitarbeiter in einem Unternehmen. Auch dieser Mitarbeiter ist externen Kontakten ausgesetzt, die versuchen könnten, ihn durch Betrug oder Drohungen zu einer unautorisierten Auszahlung zu bewegen. Um das Risiko zu minimieren, unterliegt der Mitarbeiter strengen Regeln und systemischen Beschränkungen. Beispielsweise gibt es automatische Grenzen für Rückerstattungen oder Warnsysteme für potenzielle Phishing-Versuche. Selbst wenn der Mitarbeiter getäuscht wird, verhindern diese technischen und prozeduralen Barrieren schwerwiegende Schäden. Ähnliche Prinzipien finden Anwendung in der Architektur von ChatGPT. Hier wird ein Modell aus der Sicherheitsingenieurwesen angewendet, das als Quell-Senk-Analyse bekannt ist. Demnach benötigt ein Angreifer zwei Komponenten: eine Quelle zur Beeinflussung des Systems und eine Senke, also eine gefährliche Handlungsmöglichkeit wie das Übertragen sensibler Daten an Dritte. Das Ziel der Sicherheitsmaßnahmen ist es, sicherzustellen, dass potenziell gefährliche Aktionen oder Datenübermittlungen nicht stillschweigend und ohne entsprechende Schutzmaßnahmen erfolgen. Viele Angriffe auf ChatGPT versuchen, den Assistenten dazu zu überreden, vertrauliche Gesprächsinhalte an einen bösartigen Dritten weiterzugeben. Durch gezieltes Sicherheitstraining weigern sich Agenten in den meisten Fällen erfolgreich. Für die seltenen Fälle, in denen die Manipulation gelingt, kommt eine Schutzstrategie namens Safe Url zum Einsatz. Diese erkennt, wenn Informationen, die der Agent im Verlauf des Gesprächs gelernt hat, an eine externe Partei übertragen werden sollen. In solchen Situationen wird der Nutzer über die geplante Übermittlung informiert und muss diese bestätigen, oder die Übertragung wird blockiert und der Agent wird angewiesen, den Vorgang auf einem alternativen, sicheren Weg fortzusetzen. Die sichere Interaktion mit einer feindlichen Umgebung ist für vollständig autonome Agenten unverzichtbar. Bei der Integration von KI-Modellen in Anwendungssysteme empfiehlt es sich, die Kontrollmechanismen zu reflektieren, die ein menschlicher Mitarbeiter in einer ähnlichen Situation hätte, und diese umzusetzen. Obwohl maximale Intelligenz theoretisch besser gegen soziale Manipulation gewappnet sein sollte, sind praktische Anwendungen oft nicht auf maximal intelligente Modelle angewiesen oder wirtschaftlich realisierbar. Die Forschung zur Abwehr sozialer Manipulation gegen KI-Modelle wird fortgesetzt und fließt sowohl in die Sicherheitsarchitekturen von Anwendungen als auch in das Training der Modelle selbst ein.