Dänische Pilze 2020 -- Nicht Nur Ein weiterer Bilderkennungsdatensatz

Wir stellen einen neuen feingranularen Datensatz und Benchmark vor, den dänischen Pilzdatensatz 2020 (DF20). Der Datensatz, der aus Beobachtungen zusammengestellt wurde, die dem Atlas der dänischen Pilze übermittelt wurden, ist einzigartig durch seine taxonomisch genauen Klassenlabels, die geringe Anzahl von Fehlern, die stark unbalancierte langschwanzige Klassendistribution, die reichen Beobachtungsmetadaten und die gut definierte Klassenhierarchie. DF20 hat keinen Überlap mit ImageNet, was eine unverfälschte Vergleichbarkeit von Modellen ermöglicht, die von öffentlich verfügbaren ImageNet-Checkpoints feinjustiert wurden. Das vorgeschlagene Evaluationsprotokoll ermöglicht es, die Fähigkeit zu testen, die Klassifikation durch Metadaten – z.B. präzise geografische Lage, Habitat und Substrat – zu verbessern. Es erleichtert auch das Testen der Kalibrierung von Klassifizierern und ermöglicht schließlich die Untersuchung des Einflusses von Geräteeinstellungen auf die Klassifikationsleistung. Experimente mit konvolutionellen neuronalen Netzen (CNN) und den neueren Vision Transformers (ViT) zeigen, dass DF20 eine herausfordernde Aufgabe darstellt. Interessanterweise erreicht ViT bessere Ergebnisse als die CNN-Baselines mit einer Genauigkeit von 80,45 % und einem makro-F1-Wert von 0,743, wodurch der CNN-Fehler um 9 % und 12 % jeweils reduziert wird. Ein einfaches Verfahren zur Einbeziehung von Metadaten in den Entscheidungsprozess verbessert die Klassifikationsgenauigkeit um mehr als 2,95 Prozentpunkte und senkt den Fehlerquotienten um 15 %. Der Quellcode für alle Methoden und Experimente ist unter https://sites.google.com/view/danish-fungi-dataset verfügbar.