Die vielen Gesichter der Robustheit: Eine kritische Analyse der Generalisierung außerhalb der Verteilung

Wir stellen vier neue realweltbasierte Datensätze für Verteilungsverschiebungen vor, die Veränderungen im Bildstil, der Bildunschärfe, der geografischen Lage, der Kameraeinstellungen und weiteren Aspekten umfassen. Mit unseren neuen Datensätzen bewerten wir bisher vorgeschlagene Methoden zur Verbesserung der Robustheit gegenüber Verteilungsverschiebungen außerhalb der Trainingsverteilung und testen sie systematisch. Wir stellen fest, dass die Verwendung größerer Modelle sowie künstlicher Datenaugmentierungen die Robustheit gegenüber realweltbasierten Verteilungsverschiebungen verbessern kann – im Widerspruch zu Aussagen früherer Arbeiten. Zudem zeigen wir, dass Verbesserungen in künstlichen Robustheitsbenchmarks auf reale Verteilungsverschiebungen übertragbar sind, was ebenfalls den früheren Behauptungen widerspricht. Ausgehend von unserer Beobachtung, dass Datenaugmentierungen bei realweltbasierten Verteilungsverschiebungen hilfreich sein können, führen wir zudem eine neue Datenaugmentierungsmethode ein, die die bisherige State-of-the-Art erreicht und Modelle übertrifft, die mit 1000-mal mehr beschrifteten Daten vortrainiert wurden. Insgesamt zeigen unsere Ergebnisse, dass bestimmte Methoden konsistent bei Verteilungsverschiebungen in Textur und lokalen Bildstatistiken helfen, jedoch nicht bei anderen Arten von Verteilungsverschiebungen wie geografischen Änderungen. Unsere Ergebnisse belegen, dass zukünftige Forschung mehrere Verteilungsverschiebungen gleichzeitig berücksichtigen muss, da wir nachweisen, dass keine der untersuchten Methoden konsistent die Robustheit verbessert.