Tune It oder Lass Es: Benchmarking dateneffizienter Bildklassifizierung

Die daten-effiziente Bildklassifizierung unter Verwendung tiefer neuronaler Netze in Szenarien, bei denen nur geringe Mengen von etikettierten Daten zur Verfügung stehen, war in der jüngsten Vergangenheit ein aktives Forschungsfeld. Allerdings ist eine objektive Vergleichbarkeit zwischen veröffentlichten Methoden schwierig, da bestehende Arbeiten unterschiedliche Datensätze für die Bewertung verwenden und oft Standard-Baselines mit unverfeinerten Hyperparametern vergleichen.Wir haben einen Benchmark für daten-effiziente Bildklassifizierung entwickelt, der sechs verschiedene Datensätze umfasst, die verschiedene Bereiche (z.B. natürliche Bilder, medizinische Bilder, Satellitendaten) und Datentypen (RGB, Graustufen, multispektral) abdecken. Mit Hilfe dieses Benchmarks haben wir die Standard-Cross-Entropy-Baseline sowie acht Methoden für daten-effizientes Deep Learning neu evaluiert, die zwischen 2017 und 2021 auf renommierten Konferenzen veröffentlicht wurden. Um einen fairen und realistischen Vergleich zu gewährleisten, haben wir die Hyperparameter aller Methoden sorgfältig für jeden Datensatz angepasst.Überraschenderweise stellen wir fest, dass das Anpassen von Lernrate, Gewichtsabklingrate (weight decay) und Batch-Größe an einem separaten Validierungssplit zu einer hochwettbewerbsfähigen Baseline führt. Diese übertreffen alle bis auf eine spezialisierte Methode und leisten sich gegenüber der verbleibenden Methode wettbewerbsfähig.