Messung der Robustheit gegenüber natürlichen Verteilungsschiebungen in der Bildklassifikation

Wir untersuchen, wie robust aktuelle ImageNet-Modelle gegenüber Verteilungsverschiebungen sind, die sich aus natürlichen Variationen in Datensätzen ergeben. Die meisten Forschungsarbeiten zur Robustheit konzentrieren sich auf synthetische Bildstörungen (Rauschen, simuliertes Wetterartefakte, adversarielle Beispiele usw.), wodurch offen bleibt, wie die Robustheit gegenüber synthetischen Verteilungsverschiebungen mit der Robustheit gegenüber Verteilungsverschiebungen in echten Daten zusammenhängt. Auf Basis einer Bewertung von 204 ImageNet-Modellen unter 213 unterschiedlichen Testbedingungen stellen wir fest, dass der Transfer von Robustheit von synthetischen zu natürlichen Verteilungsverschiebungen oft gering oder gar nicht vorhanden ist. Zudem bieten die meisten aktuellen Techniken keine Robustheit gegenüber den natürlichen Verteilungsverschiebungen in unserem Testfeld. Die Hauptausnahme ist die Schulung auf größeren und vielfältigeren Datensätzen, die in mehreren Fällen die Robustheit erhöht, jedoch immer noch weit davon entfernt ist, die Leistungsunterschiede zu schließen. Unsere Ergebnisse deuten darauf hin, dass Verteilungsverschiebungen in echten Daten derzeit ein offenes Forschungsproblem darstellen. Wir stellen unser Testfeld und die zugrundeliegenden Daten als Ressource für zukünftige Arbeiten unter https://modestyachts.github.io/imagenet-testbed/ zur Verfügung.