HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage avec des étiquettes bruitées par masquage bruyant adversarial auto-supervisé

Yuanpeng Tu Boshen Zhang Yuxi Li Liang Liu Jian Li Jiangning Zhang Yabiao Wang Chengjie Wang Cai Rong Zhao

Résumé

La collecte de grands jeux de données est essentielle pour former des modèles profonds, mais l’annotation de ces données entraîne inévitablement des étiquettes bruitées, ce qui pose des défis aux algorithmes d’apprentissage profond. Les travaux antérieurs ont principalement cherché à atténuer ce problème en identifiant et en supprimant les échantillons bruités ou en corrigeant leurs étiquettes en se basant sur des propriétés statistiques (par exemple, les valeurs de perte) observées parmi les échantillons d’apprentissage. Dans cet article, nous abordons ce problème sous un nouvel angle, en examinant en profondeur les cartes de caractéristiques profondes. Nous constatons empiriquement que les modèles entraînés sur des échantillons propres et mal étiquetés présentent des distributions de caractéristiques d’activation nettement distinctes. À partir de cette observation, nous proposons une nouvelle approche robuste d’entraînement, nommée masquage bruité adversarial. L’idée consiste à régulariser les caractéristiques profondes à l’aide d’un schéma de masquage guidé par la qualité des étiquettes, qui module de manière adaptative à la fois les données d’entrée et les étiquettes, empêchant ainsi le modèle de s’ajuster excessivement aux échantillons bruités. En outre, une tâche auxiliaire est conçue pour reconstruire les données d’entrée, fournissant naturellement des signaux auto-supervisés exempts de bruit afin de renforcer la capacité de généralisation des modèles profonds. La méthode proposée est simple et flexible. Elle a été évaluée sur des jeux de données bruités synthétiques et réels, où elle obtient des améliorations significatives par rapport aux méthodes de pointe précédentes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp