SafeML: Sicherheitsüberwachung von maschinellen Lernklassifizierern durch statistische Differenzmaße

Die Gewährleistung von Sicherheit und Erklärbarkeit von maschinellem Lernen (ML) ist ein zunehmend relevanter Forschungsbereich, da datengetriebene Anwendungen in sicherheitskritische Einsatzgebiete vordringen, die traditionell hohe Sicherheitsstandards erfordern – Standards, die mit einer ausschließlichen Teststrategie an sonst unzugänglichen Black-Box-Systemen nicht erfüllt werden können. Insbesondere die Wechselwirkung zwischen Sicherheit und Sicherheit (Security) stellt eine zentrale Herausforderung dar, da Sicherheitsverletzungen zu einer Beeinträchtigung der Sicherheit führen können. Zum Lösungsansatz dieser Doppelherausforderung trägt diese Arbeit einen integrierten Schutzmechanismus bei, der während des Betriebs von ML-Systemen anwendbar ist: die aktive Überwachung des Verhaltens und des operativen Kontexts des datengetriebenen Systems mittels Abstandsmaße der empirischen kumulativen Verteilungsfunktion (Empirical Cumulative Distribution Function, ECDF). Wir untersuchen abstrakte Datensätze (XOR, Spiral, Circle) sowie aktuelle, auf Sicherheit ausgerichtete Datensätze für Intrusion Detection (CICIDS2017) simulierter Netzwerkverkehrsdaten, wobei wir Verteilungsverschiebungs-Detektionsmaße wie den Kolmogorov-Smirnov-, Kuiper-, Anderson-Darling-, Wasserstein- und gemischte Wasserstein-Anderson-Darling-Test anwenden. Unsere vorläufigen Ergebnisse deuten darauf hin, dass der Ansatz eine Grundlage für die Erkennung liefern kann, ob der Anwendungskontext eines ML-Moduls im Sinne von Sicherheit und Sicherheit gültig ist. Der vorläufige Quellcode und die Ergebnisse sind unter https://github.com/ISorokos/SafeML verfügbar.