HyperAIHyperAI

Command Palette

Search for a command to run...

MDCS : Plus d'Experts Divers avec l'Autodistillation Cohérente pour la Reconnaissance à Queue Longue

Qihao Zhao extsuperscript1,2,* Chen Jiang extsuperscript1,* Wei Hu extsuperscript1 Fan Zhang extsuperscript1† Jun Liu extsuperscript2

Résumé

Récemment, les méthodes à plusieurs experts ont permis des améliorations significatives dans la reconnaissance de queue longue (LTR). Nous résumons deux aspects nécessitant une amélioration supplémentaire pour contribuer à l'optimisation de la LTR : (1) Des experts plus diversifiés ; (2) Une variance du modèle moindre. Cependant, les méthodes précédentes n'ont pas bien géré ces aspects. A cet égard, nous proposons une méthode d'Experts Plus Diversifiés avec Distillation Auto-consistance (MDCS) pour combler le fossé laissé par les méthodes antérieures. Notre approche MDCS se compose de deux composants essentiels : la Perte de Diversité (DL) et la Distillation Auto-consistance (CS). En détail, DL favorise la diversité entre les experts en contrôlant leur focalisation sur différentes catégories. Pour réduire la variance du modèle, nous utilisons la divergence KL pour distiller les connaissances plus riches des instances faiblement augmentées pour la distillation auto des experts. En particulier, nous concevons un Échantillonnage d'Instances Confiantes (CIS) pour sélectionner les instances correctement classées pour CS afin d'éviter une connaissance biaisée ou bruyante. Dans l'analyse et l'étude d'ablation, nous démontrons que notre méthode, comparée aux travaux précédents, peut efficacement augmenter la diversité des experts, réduire considérablement la variance du modèle et améliorer la précision de reconnaissance. De plus, les rôles de notre DL et CS sont mutuellement renforçants et couplés : la diversité des experts bénéficie de CS, et CS ne peut atteindre des résultats remarquables sans DL. Les expériences montrent que notre MDCS surpassent l'état de l'art de 1% \sim 2% sur cinq benchmarks populaires à queue longue, incluant CIFAR10-LT, CIFAR100-LT, ImageNet-LT, Places-LT et iNaturalist 2018. Le code est disponible sur https://github.com/fistyee/MDCS.Note: "Diversity Loss" is translated as "Perte de Diversité" and "Consistency Self-distillation" as "Distillation Auto-consistance". These translations aim to maintain the technical meaning while ensuring readability in French. If these terms are not commonly used in French academic or technical literature, you may want to keep the English terms and provide a brief explanation in parentheses.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
MDCS : Plus d'Experts Divers avec l'Autodistillation Cohérente pour la Reconnaissance à Queue Longue | Articles | HyperAI