MDCS: 多様性豊かな専門家による一貫性自己蒸留法を用いたロングテール認識

最近、マルチエキスパート手法はロングテール認識（LTR）において著しい改善をもたらしました。しかし、LTRの向上に寄与するためにはさらに強化すべき2つの側面があります。(1) より多様なエキスパート；(2) モデルの分散の低減。しかしながら、従来の手法ではこれらの課題が十分に対処されていませんでした。この問題を解決するために、私たちは一貫性自己蒸留を伴うより多様なエキスパート（MDCS）を提案します。私たちのMDCSアプローチは、2つの主要なコンポーネントで構成されています：ダイバーシティ損失（Diversity Loss: DL）と一貫性自己蒸留（Consistency Self-distillation: CS）。具体的には、DLは異なるカテゴリに焦点を当てるエキスパート間の多様性を促進します。モデルの分散を低減するために、KLダイバージェンスを使用して弱い拡張インスタンスから豊富な知識を抽出し、エキスパートの自己蒸留に利用します。特に、私たちは確信のあるインスタンスサンプリング（Confident Instance Sampling: CIS）を設計し、偏った/ノイジーな知識を避けるために正しく分類されたインスタンスを選択します。分析および削除実験を通じて、私たちの方法が既存の研究と比較してエキスパートの多様性を効果的に増加させ、モデルの分散を大幅に低減し、認識精度を向上させることが示されました。さらに、私たちのDLとCSは相互補完的かつ連携しており：エキスパート間の一貫性がCSによって恩恵を受けますし、DLなしではCSは顕著な結果を得ることができません。実験結果によると、5つの代表的なロングテールベンチマーク（CIFAR10-LT, CIFAR100-LT, ImageNet-LT, Places-LT, およびiNaturalist 2018）においてMDCSは最先进技術よりも1%～2%優れています。コードはhttps://github.com/fistyee/MDCSで公開されています。