デンマークのキノコ2020 -- ただの画像認識データセットではない

私たちは新しい細分化されたデータセットおよびベンチマーク、デンマークキノコ2020（Danish Fungi 2020, DF20）を紹介します。このデータセットは、デンマークキノコアトラスに提出された観察データから構築されており、その特徴は分類学的に正確なクラスラベル、少ないエラー数、極端に偏った長尾分布のクラス、豊富な観察メタデータ、および明確に定義されたクラス階層です。DF20はImageNetと重複がなく、公開されているImageNetのチェックポイントから微調整したモデルの無偏比較が可能です。提案される評価プロトコルでは、メタデータ（例えば精密な地理的位置、生息地、基質）を使用して分類性能を向上させる能力のテストが可能であり、分類器のキャリブレーションテストを容易にし、最後にデバイス設定が分類性能に与える影響を研究することができます。実験では畳み込みニューラルネットワーク（Convolutional Neural Networks, CNN）と最近のビジョントランスフォーマー（Vision Transformers, ViT）を使用しました。結果はDF20が挑戦的な課題であることを示しています。興味深いことに、ViTはCNNベースラインよりも優れた結果を達成しており、精度80.45%とマクロF1スコア0.743でそれぞれCNNの誤差率を9%と12%削減しています。決定プロセスにメタデータを取り入れるための単純な手順により、分類精度が2.95パーセンテージポイント以上向上し、誤差率が15%削減されました。すべての手法と実験のソースコードはhttps://sites.google.com/view/danish-fungi-datasetで入手できます。