HyperAIHyperAI

Command Palette

Search for a command to run...

MDCS: 多様性豊かな専門家による一貫性自己蒸留法を用いたロングテール認識

Qihao Zhao extsuperscript1,2,* Chen Jiang extsuperscript1,* Wei Hu extsuperscript1 Fan Zhang extsuperscript1† Jun Liu extsuperscript2

概要

最近、マルチエキスパート手法はロングテール認識(LTR)において著しい改善をもたらしました。しかし、LTRの向上に寄与するためにはさらに強化すべき2つの側面があります。(1) より多様なエキスパート;(2) モデルの分散の低減。しかしながら、従来の手法ではこれらの課題が十分に対処されていませんでした。この問題を解決するために、私たちは一貫性自己蒸留を伴うより多様なエキスパート(MDCS)を提案します。私たちのMDCSアプローチは、2つの主要なコンポーネントで構成されています:ダイバーシティ損失(Diversity Loss: DL)と一貫性自己蒸留(Consistency Self-distillation: CS)。具体的には、DLは異なるカテゴリに焦点を当てるエキスパート間の多様性を促進します。モデルの分散を低減するために、KLダイバージェンスを使用して弱い拡張インスタンスから豊富な知識を抽出し、エキスパートの自己蒸留に利用します。特に、私たちは確信のあるインスタンスサンプリング(Confident Instance Sampling: CIS)を設計し、偏った/ノイジーな知識を避けるために正しく分類されたインスタンスを選択します。分析および削除実験を通じて、私たちの方法が既存の研究と比較してエキスパートの多様性を効果的に増加させ、モデルの分散を大幅に低減し、認識精度を向上させることが示されました。さらに、私たちのDLとCSは相互補完的かつ連携しており:エキスパート間の一貫性がCSによって恩恵を受けますし、DLなしではCSは顕著な結果を得ることができません。実験結果によると、5つの代表的なロングテールベンチマーク(CIFAR10-LT, CIFAR100-LT, ImageNet-LT, Places-LT, およびiNaturalist 2018)においてMDCSは最先进技術よりも1%~2%優れています。コードはhttps://github.com/fistyee/MDCSで公開されています


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています