HyperAIHyperAI

Command Palette

Search for a command to run...

CNN-Filter-DB: Eine empirische Untersuchung trainierter Faltungsfilter

Paul Gavrikov Janis Keuper

Zusammenfassung

Derzeit bleiben viele theoretische sowie praktisch relevante Fragen bezüglich der Übertragbarkeit und Robustheit von Convolutional Neural Networks (CNNs) ungelöst. Während laufende Forschungsanstrengungen diese Probleme aus verschiedenen Perspektiven angehen, lassen sich die meisten Ansätze im Bereich der Computer Vision auf Untersuchungen der Auswirkungen von Verteilungsverschiebungen in Bilddaten verallgemeinern. In diesem Kontext schlagen wir vor, die Verschiebungen in den gelernten Gewichten bereits trainierter CNN-Modelle zu untersuchen. Dabei konzentrieren wir uns auf die Eigenschaften der Verteilungen der überwiegend verwendeten 3×3-Faltungsfilterkerne. Wir haben eine Datensammlung mit über 1,4 Milliarden Filtern aus Hunderten von trainierten CNNs zusammengestellt und öffentlich zugänglich gemacht, wobei eine breite Palette an Datensätzen, Architekturen und visuellen Aufgaben berücksichtigt wurde. In einem ersten Anwendungsfall dieser Datensammlung zeigen wir bedeutende Eigenschaften vieler öffentlich verfügbaren vortrainierter Modelle für praktische Anwendungen: I) Wir analysieren Verteilungsverschiebungen (bzw. deren Fehlen) zwischen den trainierten Filtern entlang verschiedener Meta-Parameterachsen, wie beispielsweise der visuellen Kategorie des Datensatzes, der Aufgabe, der Architektur oder der Schichttiefe. Auf Basis dieser Ergebnisse schließen wir, dass ein Modellvortraining auf beliebigen Datensätzen erfolgreich sein kann, sofern diese bestimmte Größen- und Varianzbedingungen erfüllen. II) Wir zeigen, dass viele vortrainierte Modelle entartete Filter enthalten, die ihre Robustheit verringern und ihre Eignung für die Feinabstimmung auf Zielanwendungen beeinträchtigen. Daten & Projekt-Website: https://github.com/paulgavrikov/cnn-filter-db


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
CNN-Filter-DB: Eine empirische Untersuchung trainierter Faltungsfilter | Paper | HyperAI