HyperAIHyperAI

Command Palette

Search for a command to run...

Rendre les réseaux de neurones profonds robustes au bruit des étiquettes : une approche de correction de la perte

Giorgio Patrini Alessandro Rozza Aditya Krishna Menon Richard Nock Lizhen Qu

Résumé

Nous présentons une approche théoriquement fondée pour entraîner des réseaux de neurones profonds, y compris les réseaux récurrents, en présence de bruit d'étiquetage dépendant de la classe. Nous proposons deux procédures de correction de la fonction de perte qui sont agnostiques par rapport au domaine d'application et à l'architecture du réseau. Ces procédures se limitent à une inversion matricielle et une multiplication, à condition que nous connaissions la probabilité que chaque classe soit corrompue en une autre. Nous montrons également comment estimer ces probabilités, en adaptant une technique récente d'estimation du bruit au cadre multiclasses, offrant ainsi un cadre complet d'une extrémité à l'autre. Des expériences étendues sur MNIST, IMDB, CIFAR-10, CIFAR-100 et un grand ensemble de données d'images de vêtements utilisant une variété d'architectures — empilant des couches denses, convolutionnelles, de regroupement (pooling), de décrochage (dropout), de normalisation par lots (batch normalization), d'incrustation de mots (word embedding), LSTM et résiduelles — démontrent la robustesse au bruit de nos propositions. Par ailleurs, nous prouvons que lorsque ReLU est la seule non-linéarité, la courbure de la fonction de perte est immunisée contre le bruit d'étiquetage dépendant de la classe.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp