HyperAIHyperAI

Command Palette

Search for a command to run...

Comment le désaccord aide-t-il la généralisation face à la corruption des étiquettes ?

Xingrui Yu Bo Han Jiangchao Yao Gang Niu Ivor W. Tsang Masashi Sugiyama

Résumé

L'apprentissage avec des étiquettes bruitées est l'un des problèmes les plus actuels de l'apprentissage faiblement supervisé. En se basant sur les effets de mémorisation des réseaux neuronaux profonds, la formation sur des instances à faible perte devient très prometteuse pour gérer les étiquettes bruitées. Cela a favorisé l'approche de pointe appelée « Co-teaching » qui forme croisément deux réseaux neuronaux profonds en utilisant la technique de faible perte. Cependant, avec l'augmentation du nombre d'époques, les deux réseaux convergent vers un consensus et le Co-teaching se réduit à l'auto-formation par MentorNet. Pour résoudre ce problème, nous proposons un paradigme d'apprentissage robuste appelé Co-teaching+, qui relie la stratégie « Mise à jour par désaccord » (Update by Disagreement) au Co-teaching original. Tout d'abord, les deux réseaux effectuent une propagation avant et prédissent toutes les données, mais ne conservent que celles où leurs prédictions sont en désaccord. Ensuite, parmi ces données en désaccord, chaque réseau sélectionne ses propres données à faible perte, mais propage en arrière les données à faible perte issues du réseau pair et met à jour ses propres paramètres. Les résultats empiriques sur des jeux de données de référence démontrent que Co-teaching+ est nettement supérieur à de nombreuses méthodes de pointe en termes de robustesse des modèles formés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Comment le désaccord aide-t-il la généralisation face à la corruption des étiquettes ? | Articles | HyperAI