HyperAIHyperAI

Command Palette

Search for a command to run...

Übertragen adversarisch robuste ImageNet-Modelle besser?

Hadi Salman Andrew Ilyas Logan Engstrom Ashish Kapoor Aleksander Madry

Zusammenfassung

Transfer Learning ist ein weit verbreiteter Ansatz im Bereich des tiefen Lernens, bei dem Modelle, die auf Standarddatensätzen vortrainiert wurden, effizient auf nachfolgende Aufgaben angepasst werden können. Typischerweise führen bessere vortrainierte Modelle zu besseren Transferergebnissen, was darauf hindeutet, dass die Anfangsgenauigkeit ein entscheidender Faktor für die Leistungsfähigkeit des Transfer Lernens ist. In dieser Arbeit identifizieren wir einen weiteren solchen Aspekt: Wir stellen fest, dass adversarisch robuste Modelle, obwohl sie geringere Genauigkeit aufweisen, bei der Anwendung im Transfer Learning oft besser abschneiden als ihre standardtrainierten Gegenstücke. Insbesondere konzentrieren wir uns auf adversarisch robuste ImageNet-Klassifizierer und zeigen, dass sie eine verbesserte Genauigkeit bei einer Standard-Suite nachfolgender Klassifizierungsaufgaben erzielen. Eine weitere Analyse offenbart zusätzliche Unterschiede zwischen robusten und standardtrainierten Modellen im Kontext des Transfer Lernens. Unsere Ergebnisse sind mit (und tatsächlich ergänzen sie) kürzlich aufgestellten Hypothesen, die besagen, dass Robustheit zu verbesserten Merkmalsdarstellungen führt. Unser Code und die Modelle sind verfügbar unter https://github.com/Microsoft/robust-models-transfer.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp