Die Entstehung und Häufigkeit von Textur-Bias in Faltungsneuralen Netzen

Neuere Arbeiten deuten darauf hin, dass sich Convolutional Neural Networks (CNNs), die auf ImageNet trainiert wurden, im Gegensatz zu Menschen tendenziell eher an Textur als an Form zur Klassifizierung von Bildern orientieren. Wie weit verbreitet ist dieser Bias, und woher stammt er? Wir finden, dass CNNs, wenn sie auf Datensätzen mit konflikthafter Form und Textur trainiert werden, mindestens ebenso leicht lernen, anhand der Form zu klassifizieren wie anhand der Textur. Welche Faktoren verursachen dann den Texturbias bei CNNs, die auf ImageNet trainiert wurden? Verschiedene unsupervisierte Trainingsziele und unterschiedliche Architekturen wirken sich auf das Ausmaß des Texturbias geringfügig, aber signifikant und weitgehend unabhängig aus. Dennoch führen alle Kombinationen von Zielen und Architekturen dazu, dass die Modelle überwiegend texturbasierte Klassifikationsentscheidungen treffen, selbst wenn Forminformationen aus ihren versteckten Darstellungen abgeleitet werden könnten. Der Einfluss von Datenaugmentation ist dagegen viel größer. Indem wir beim Training weniger aggressive zufällige Ausschnitte verwenden und einfache, naturgetreue Augmentierungen (Farbverzerrung, Rauschen und Unschärfe) anwenden, trainieren wir Modelle, die ambiguierende Bilder überwiegend anhand der Form klassifizieren und auf Out-of-Distribution-Testsets besser abschneiden als Baseline-Modelle. Unsere Ergebnisse deuten darauf hin, dass scheinbare Unterschiede im Verarbeitungsverhalten zwischen Menschen und auf ImageNet trainierten CNNs möglicherweise nicht primär aus Unterschieden in ihren internen Arbeitsmechanismen resultieren, sondern vielmehr aus den unterschiedlichen Daten, die sie sehen.