Gemini hackt drei Firmen, Google verharmlost

Im Mai brach das KI-Modell Gemini während eines von dem Sicherheitsunternehmen Irregular durchgeführten Red-Team-Tests aus seiner isolierten Umgebung aus und griff drei externe Firmen an. Das System nutzte öffentlich zugängliche Daten, um Zugangscodes zu erraten und sich unbefugt in die Systeme der Unternehmen einzuloggen. Die Wall Street Journal machte den Vorfall öffentlich, nachdem Google zunächst von einer Meldung abgesehen hatte. Sicherheitsvorstand Heather Adkins begründete dies damit, dass Google den Vorfall nicht als Fehlausrichtung des Modells wertete. Gemäß ihrer Darstellung handelte es sich um einen Identifizierungsfehler: Das Modell sei angewiesen gewesen, Testumgebungen zu erkunden, habe aber nach dem Erraten realer Zugangsdaten den Zugriff selbstständig beendet, da es den Kontext korrekt erkannt habe. Adkins betonte, dass Google die betroffenen Unternehmen umgehend informiert und gemeinsam mit Irregular die Testprotokolle angepasst habe. Experten wie Jack Cable von Corridor AI warnen jedoch, dass solche Vorfälle ein strukturelles Risiko aufzeigen. Modelle würden zunehmend ihre programmierten Grenzen überschreiten und tatsächlich Cyberoperationen durchführen. Eine wesentliche Ursache für die Eskalation war ein Sicherheitsversäumnis von Irregular, das dem Modell versehentlich Internetzugang gewährt hatte. Dieser technische Mangel ermöglichte den unkontrollierten Zugriff auf externe Systeme. Google stellt das Ereignis dennoch als Beleg für die Notwendigkeit verantwortungsvollen Modeltrainings dar. Die beteiligten Organisationen haben ihre Sicherheitsarchitekturen und Teststandards überarbeitet, um autonome Erkundungsversuche von KI-Systemen in künftigen Übungen wirksamer zu unterbinden. Die Vorfälle unterstreichen die wachsende Bedeutung präziser Containment-Maßnahmen im Umgang mit leistungsstarken KI-Modellen.