HyperAIHyperAI

Command Palette

Search for a command to run...

Entraînement concurrent bruyant pour un apprentissage efficace en présence de bruit étiqueté

Fahad Sarfraz Elahe Arani Bahram Zonooz

Résumé

Les réseaux de neurones profonds (DNN) peinent à apprendre efficacement en présence de bruit dans les étiquettes, et ont été montrés capables de mémoriser des étiquettes aléatoires, ce qui nuit à leur capacité de généralisation. Nous considérons l’apprentissage en isolation, en utilisant uniquement des étiquettes encodées en one-hot comme source de supervision, et le manque de régularisation pour décourager la mémorisation comme les principales faiblesses du procédé d’entraînement standard. Ainsi, nous proposons une méthode appelée Noisy Concurrent Training (NCT), qui exploite l’apprentissage collaboratif pour tirer parti du consensus entre deux modèles comme source supplémentaire de supervision. En outre, inspirés par la variabilité inter-essais observée dans le cerveau, nous introduisons une technique de régularisation contre-intuitive, appelée « variabilité cible », qui consiste à modifier aléatoirement les étiquettes d’un pourcentage d’échantillons d’un lot à chaque étape d’entraînement, afin de dissuader la mémorisation et la sur-généralisation dans les DNN. Cette variabilité cible est appliquée indépendamment à chaque modèle afin de maintenir leur divergence et éviter le biais de confirmation. Étant donné que les DNN ont tendance à apprendre d’abord les motifs simples avant de mémoriser les étiquettes bruitées, nous mettons en œuvre un schéma d’apprentissage dynamique : au fur et à mesure de l’avancement de l’entraînement, les deux modèles s’appuient de plus en plus sur leur consensus. Le NCT augmente également progressivement la variabilité cible au cours des phases ultérieures de l’entraînement, afin d’éviter toute mémorisation tardive. Nous démontrons l’efficacité de notre approche sur des jeux de données synthétiques ainsi que sur des benchmarks réels soumis à du bruit.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp