Neue Technik RisingAttacK manipuliert KI-Visionssysteme discret

Forscher haben eine neue Methode zur Manipulation von künstlichen Intelligenz-Systemen für Computer-Vision vorgestellt, die es ermöglicht, zu bestimmen, was die KI „sieht“. Diese Technik, als RisingAttacK bezeichnet, kann alle weit verbreiteten Computer-Vision-Systeme effektiv beeinflussen. RisingAttacK zielt darauf ab, mit minimalen Änderungen an einem Bild den Angriff erfolgreich zu gestalten, ohne dass diese Veränderungen für das menschliche Auge erkennbar sind. Das Problem bei sogenannten „adversarial attacks“ besteht darin, dass jemand die Eingangsdaten eines KI-Systems manipuliert, um dessen Wahrnehmung von Bildern zu kontrollieren. Zum Beispiel könnte jemand die Fähigkeit einer KI, Verkehrsampeln, Fußgänger oder andere Fahrzeuge zu erkennen, beeinträchtigen, was für autonome Fahrzeuge problematisch sein könnte. Oder ein Hacker könnte Code auf einem Röntgengerät installieren, der dazu führt, dass das KI-System fehlerhafte Diagnosen stellt. Tianfu Wu, Co-Autor des Forschungsberichts und Associate Professor für Elektrotechnik und Informatik an der North Carolina State University, betont die Bedeutung dieser Arbeit. „Diese Computer-Vision-Systeme werden oft in Kontexten eingesetzt, die die menschliche Gesundheit und Sicherheit betreffen – von autonomen Fahrzeugen bis hin zu Gesundheitstechnologien und Sicherheitsanwendungen. Daher ist es sehr wichtig, diese Systeme sicher zu machen. Die Identifizierung von Schwachstellen ist ein wesentlicher Schritt, um sie abzuwehren.“ RisingAttacK funktioniert durch eine Reihe von Operationen, deren Ziel es ist, die geringstmöglichen Änderungen an einem Bild vorzunehmen, um dessen Wahrnehmung durch die KI zu manipulieren. Zunächst identifiziert RisingAttacK alle visuellen Merkmale eines Bildes und bestimmt, welche Merkmale am wichtigsten sind, um das Angriffsziel zu erreichen. Wu erläutert dies anhand eines Beispiels: „Wenn das Ziel des Angriffs ist, die KI daran zu hindern, ein Auto zu erkennen, welche Merkmale im Bild sind für die KI entscheidend, um ein Auto zu identifizieren?“ Danach berechnet RisingAttacK die Empfindlichkeit des KI-Systems gegenüber Veränderungen in den Daten und insbesondere die Empfindlichkeit gegenüber Veränderungen in den Hauptmerkmalen. „Dies erfordert zwar einige Rechenleistung, ermöglicht uns aber, sehr kleine, gezielte Änderungen an den Hauptmerkmalen vorzunehmen, die den Angriff erfolgreich machen. Das Ergebnis ist, dass zwei Bilder für das menschliche Auge identisch aussehen und wir in beiden Bildern eindeutig ein Auto erkennen können. Aufgrund von RisingAttacK jedoch würde die KI in dem ersten Bild ein Auto sehen, aber nicht in dem zweiten Bild.“ Die Natur von RisingAttacK ermöglicht es, die Fähigkeit der KI zu beeinflussen, bis zu 20 oder 30 Ziele zu erkennen, die das System während des Trainings gelernt hat. Dazu gehören beispielsweise Autos, Fußgänger, Fahrräder und Stoppschilder. Die Forscher testeten RisingAttacK an den vier am häufigsten verwendeten Vision-KI-Programmen: ResNet-50, DenseNet-121, ViTB und DEiT-B. Die Technik erwies sich bei allen vier Programmen als effektiv. „Während wir die Fähigkeit von RisingAttacK bewiesen haben, Vision-Modelle zu manipulieren, arbeiten wir jetzt daran, die Effektivität der Technik bei Angriffen auf andere KI-Systeme, wie große Sprachmodelle, zu bestimmen“, sagt Wu. Zukünftige Forschungsschritte sollen Techniken entwickeln, die solche Angriffe erfolgreich abwehren können. Der Forschungsbericht „Adversarial Perturbations Are Formed by Iteratively Learning Linear Combinations of the Right Singular Vectors of the Adversarial Jacobian“ wird am 15. Juli auf der International Conference of Machine Learning (ICML 2025) in Vancouver, Kanada, präsentiert. In der Branche sehen Experten die Entwicklung von RisingAttacK als wichtigen Fortschritt, um die Sicherheit von KI-Systemen zu verbessern. Sie betonen, dass die Identifizierung solcher Schwachstellen notwendig ist, um geeignete Verteidigungsstrategien zu entwickeln. Die North Carolina State University, an der Wu forscht, ist bekannt für ihre fortschrittlichen Arbeiten im Bereich der Elektrotechnik und Informatik, insbesondere in der Entwicklung und Sicherheit von KI-Technologien.