HyperAIHyperAI

Command Palette

Search for a command to run...

L_DMI : Une nouvelle fonction de perte fondée sur la théorie de l'information pour l'entraînement de réseaux profonds robustes aux erreurs d'étiquetage

Yilun Xu Yuqing Kong Peng Cao Yizhou Wang

Résumé

L’annotation précise de grands ensembles de données est notoirement coûteuse en temps et en argent. Bien qu’il soit beaucoup moins cher d’obtenir des ensembles d’annotations de faible qualité, leur utilisation sans traitement particulier nuit souvent gravement à la performance des modèles entraînés. De nombreuses méthodes ont été proposées pour l’apprentissage avec des étiquettes bruitées. Toutefois, la plupart d’entre elles ne traitent que certains types limités de bruits, nécessitent des informations ou des étapes auxiliaires (par exemple, la connaissance ou l’estimation de la matrice de transition du bruit), ou manquent de justification théorique. Dans cet article, nous proposons une nouvelle fonction de perte fondée sur la théorie de l’information, notée L_DMI, pour entraîner des réseaux neuronaux profonds résistants au bruit d’étiquettes. Le cœur de L_DMI repose sur une version généralisée de l’information mutuelle, appelée Information Mutuelle Basée sur le Déterminant (DMI), qui est non seulement monotone en information mais aussi relativement invariante. À notre connaissance, L_DMI est la première fonction de perte prouvée robuste face au bruit d’étiquettes indépendant des instances, quelle que soit la nature du bruit, et peut être appliquée directement à tout réseau neuronal de classification existant sans nécessiter d’information auxiliaire. En plus d’une justification théorique, nous démontrons empiriquement que l’utilisation de L_DMI surpassent toutes les autres méthodes sur des tâches de classification, tant sur des jeux de données d’images que sur des jeux de données de langage naturel, incluant Fashion-MNIST, CIFAR-10, Dogs vs. Cats, MR, avec diverses configurations de bruit synthétisé et de niveaux de bruit, ainsi qu’un jeu de données du monde réel, Clothing1M.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
L_DMI : Une nouvelle fonction de perte fondée sur la théorie de l'information pour l'entraînement de réseaux profonds robustes aux erreurs d'étiquetage | Articles | HyperAI