HyperAIHyperAI

Command Palette

Search for a command to run...

Messung der Robustheit gegenüber natürlichen Verteilungsschiebungen in der Bildklassifikation

Rohan Taori Achal Dave Vaishaal Shankar Nicholas Carlini Benjamin Recht Ludwig Schmidt

Zusammenfassung

Wir untersuchen, wie robust aktuelle ImageNet-Modelle gegenüber Verteilungsverschiebungen sind, die sich aus natürlichen Variationen in Datensätzen ergeben. Die meisten Forschungsarbeiten zur Robustheit konzentrieren sich auf synthetische Bildstörungen (Rauschen, simuliertes Wetterartefakte, adversarielle Beispiele usw.), wodurch offen bleibt, wie die Robustheit gegenüber synthetischen Verteilungsverschiebungen mit der Robustheit gegenüber Verteilungsverschiebungen in echten Daten zusammenhängt. Auf Basis einer Bewertung von 204 ImageNet-Modellen unter 213 unterschiedlichen Testbedingungen stellen wir fest, dass der Transfer von Robustheit von synthetischen zu natürlichen Verteilungsverschiebungen oft gering oder gar nicht vorhanden ist. Zudem bieten die meisten aktuellen Techniken keine Robustheit gegenüber den natürlichen Verteilungsverschiebungen in unserem Testfeld. Die Hauptausnahme ist die Schulung auf größeren und vielfältigeren Datensätzen, die in mehreren Fällen die Robustheit erhöht, jedoch immer noch weit davon entfernt ist, die Leistungsunterschiede zu schließen. Unsere Ergebnisse deuten darauf hin, dass Verteilungsverschiebungen in echten Daten derzeit ein offenes Forschungsproblem darstellen. Wir stellen unser Testfeld und die zugrundeliegenden Daten als Ressource für zukünftige Arbeiten unter https://modestyachts.github.io/imagenet-testbed/ zur Verfügung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Messung der Robustheit gegenüber natürlichen Verteilungsschiebungen in der Bildklassifikation | Paper | HyperAI