o3-mini vs DeepSeek-R1: Welches ist sicherer?

Die Einführung von DeepSeek-R1 stellt einen Wendepunkt für die KI-Industrie im Allgemeinen und für große Sprachmodelle (LLMs) insbesondere dar. Seine Fähigkeiten haben in mehreren Aufgaben, einschließlich kreativem Denken, Codegenerierung, Mathematik und automatisierter Programmreparatur, eine herausragende Leistung bei scheinbar geringeren Ausführungs kosten gezeigt. Dennoch müssen LLMs eine wichtige qualitative Eigenschaft erfüllen, nämlich ihre Ausrichtung auf Sicherheit und menschliche Werte. Ein deutlicher Konkurrent von DeepSeek-R1 ist sein amerikanisches Pendant, das o3-mini-Modell von OpenAI, das hohe Standards hinsichtlich Leistung, Sicherheit und Kosten erwartet wird. In dieser Arbeit führen wir eine systematische Bewertung des Sicherheitsniveaus sowohl von DeepSeek-R1 (70B Version) als auch vom o3-mini-Modell von OpenAI (Beta-Version) durch. Dazu nutzen wir unser kürzlich veröffentlichtes automatisiertes Sicherheitstesttool namens ASTRAL. Mit Hilfe dieses Tools generieren und führen wir automatisch und systematisch insgesamt 1260 unsichere Testeingaben auf beiden Modellen aus. Nach einer halbautomatischen Bewertung der Ergebnisse, die von beiden LLMs bereitgestellt wurden, deuten die Ergebnisse darauf hin, dass DeepSeek-R1 im Vergleich zu OpenAI's o3-mini hochgradig unsicher ist. Basierend auf unserer Evaluation hat DeepSeek-R1 auf 11,98 % der ausgeführten Anfragen unsicher reagiert, während o3-mini nur auf 1,19 % der Anfragen unsicher geantwortet hat.