Übertragen adversarisch robuste ImageNet-Modelle besser?

Transfer Learning ist ein weit verbreiteter Ansatz im Bereich des tiefen Lernens, bei dem Modelle, die auf Standarddatensätzen vortrainiert wurden, effizient auf nachfolgende Aufgaben angepasst werden können. Typischerweise führen bessere vortrainierte Modelle zu besseren Transferergebnissen, was darauf hindeutet, dass die Anfangsgenauigkeit ein entscheidender Faktor für die Leistungsfähigkeit des Transfer Lernens ist. In dieser Arbeit identifizieren wir einen weiteren solchen Aspekt: Wir stellen fest, dass adversarisch robuste Modelle, obwohl sie geringere Genauigkeit aufweisen, bei der Anwendung im Transfer Learning oft besser abschneiden als ihre standardtrainierten Gegenstücke. Insbesondere konzentrieren wir uns auf adversarisch robuste ImageNet-Klassifizierer und zeigen, dass sie eine verbesserte Genauigkeit bei einer Standard-Suite nachfolgender Klassifizierungsaufgaben erzielen. Eine weitere Analyse offenbart zusätzliche Unterschiede zwischen robusten und standardtrainierten Modellen im Kontext des Transfer Lernens. Unsere Ergebnisse sind mit (und tatsächlich ergänzen sie) kürzlich aufgestellten Hypothesen, die besagen, dass Robustheit zu verbesserten Merkmalsdarstellungen führt. Unser Code und die Modelle sind verfügbar unter https://github.com/Microsoft/robust-models-transfer.