HyperAIHyperAI
vor 17 Tagen

Messung der Robustheit gegenüber natürlichen Verteilungsschiebungen in der Bildklassifikation

Rohan Taori, Achal Dave, Vaishaal Shankar, Nicholas Carlini, Benjamin Recht, Ludwig Schmidt
Messung der Robustheit gegenüber natürlichen Verteilungsschiebungen in der Bildklassifikation
Abstract

Wir untersuchen, wie robust aktuelle ImageNet-Modelle gegenüber Verteilungsverschiebungen sind, die sich aus natürlichen Variationen in Datensätzen ergeben. Die meisten Forschungsarbeiten zur Robustheit konzentrieren sich auf synthetische Bildstörungen (Rauschen, simuliertes Wetterartefakte, adversarielle Beispiele usw.), wodurch offen bleibt, wie die Robustheit gegenüber synthetischen Verteilungsverschiebungen mit der Robustheit gegenüber Verteilungsverschiebungen in echten Daten zusammenhängt. Auf Basis einer Bewertung von 204 ImageNet-Modellen unter 213 unterschiedlichen Testbedingungen stellen wir fest, dass der Transfer von Robustheit von synthetischen zu natürlichen Verteilungsverschiebungen oft gering oder gar nicht vorhanden ist. Zudem bieten die meisten aktuellen Techniken keine Robustheit gegenüber den natürlichen Verteilungsverschiebungen in unserem Testfeld. Die Hauptausnahme ist die Schulung auf größeren und vielfältigeren Datensätzen, die in mehreren Fällen die Robustheit erhöht, jedoch immer noch weit davon entfernt ist, die Leistungsunterschiede zu schließen. Unsere Ergebnisse deuten darauf hin, dass Verteilungsverschiebungen in echten Daten derzeit ein offenes Forschungsproblem darstellen. Wir stellen unser Testfeld und die zugrundeliegenden Daten als Ressource für zukünftige Arbeiten unter https://modestyachts.github.io/imagenet-testbed/ zur Verfügung.

Messung der Robustheit gegenüber natürlichen Verteilungsschiebungen in der Bildklassifikation | Neueste Forschungsarbeiten | HyperAI