Natürliche feindliche Beispiele

Wir stellen zwei herausfordernde Datensätze vor, die zu einem erheblichen Leistungsverlust von maschinellen Lernmodellen führen. Die Datensätze wurden mit einer einfachen adversären Filterungstechnik gesammelt, um Datensätze mit begrenzten störenden Hinweisen zu erstellen. Die realweltlichen, unveränderten Beispiele aus unseren Datensätzen übertragen sich verlässlich auf verschiedene unbekannte Modelle und zeigen so, dass Computer Vision-Modelle gemeinsame Schwächen haben. Der erste Datensatz wird ImageNet-A genannt und gleicht dem ImageNet-Testdatensatz, ist jedoch für bestehende Modelle viel anspruchsvoller. Wir haben außerdem einen adversären Out-of-Distribution-Erkennungsdatensatz namens ImageNet-O zusammengestellt, der der erste solche Datensatz ist, der für ImageNet-Modelle erstellt wurde. Bei ImageNet-A erreicht ein DenseNet-121 eine Genauigkeit von etwa 2 %, was einem Genauigkeitsverlust von rund 90 % entspricht, und seine Out-of-Distribution-Erkennungsleistung bei ImageNet-O liegt nahe bei den Zufallswerten. Wir stellen fest, dass existierende Datenverstärkungstechniken die Leistung kaum verbessern und die Verwendung anderer öffentlicher Trainingsdatensätze nur begrenzte Verbesserungen bietet. Allerdings finden wir heraus, dass Verbesserungen an den Architekturen der Computer Vision vielversprechend sind, um robuste Modelle zu entwickeln.