Ein Datenverstärkungsverfahren für Personen-Identifikation mit adversarischer Verteidigungswirkung

Die Sicherheit des Person Re-Identification (ReID)-Modells spielt eine entscheidende Rolle bei dessen Anwendung. Tiefgehende neuronale Netze haben jedoch gezeigt, dass sie anfällig sind: durch die Addition von nicht erkennbaren adversarialen Störungen zu reinen Bildern können diese Netze, die auf reinen Bildern gut funktionieren, täuschen werden. Wir stellen eine mehrmodale Datenaugmentation-Methode für ReID mit adversarialer Abwehrfunktion vor: 1) Graustufen-Platten-Ersatz (Grayscale Patch Replacement), bestehend aus lokalem Graustufen-Platten-Ersatz (Local Grayscale Patch Replacement, LGPR) und globalem Graustufen-Platten-Ersatz (Global Grayscale Patch Replacement, GGPR). Diese Methode verbessert nicht nur die Genauigkeit des Modells, sondern stärkt auch dessen Widerstandsfähigkeit gegenüber adversarialen Beispielen; 2) Mehrmodale Abwehr, die drei homogene Modalaufnahmen – sichtbares Licht, Graustufe und Skizze – integriert und die Abwehrfähigkeit des Modells weiter verstärkt. Durch die Fusion verschiedener Modi homogener Bilder wird die Vielfalt der Eingabeproben erhöht. Diese erhöhte Probenvielfalt reduziert die Überanpassung des ReID-Modells an Farbvariationen und erschwert die Ausrichtung des adversarialen Raums, den Angriffsmethoden zur Verfügung steht, wodurch sowohl die Modellgenauigkeit steigt als auch die Wirksamkeit von Angriffen erheblich sinkt. Je mehr homogene Modalaufnahmen fusioniert werden, desto stärker ist die Abwehrkapazität. Die vorgeschlagene Methode zeigt eine herausragende Leistung auf mehreren Datensätzen und kann den Angriff basierend auf MS-SSIM, der auf CVPR 2020 vorgestellt wurde [10], erfolgreich abwehren. Dabei steigt die Genauigkeit um den Faktor 467 (von 0,2 % auf 93,3 %). Der Quellcode ist unter https://github.com/finger-monkey/ReID_Adversarial_Defense verfügbar.