Entraînement concurrent bruyant pour un apprentissage efficace en présence de bruit étiqueté

Les réseaux de neurones profonds (DNN) peinent à apprendre efficacement en présence de bruit dans les étiquettes, et ont été montrés capables de mémoriser des étiquettes aléatoires, ce qui nuit à leur capacité de généralisation. Nous considérons l’apprentissage en isolation, en utilisant uniquement des étiquettes encodées en one-hot comme source de supervision, et le manque de régularisation pour décourager la mémorisation comme les principales faiblesses du procédé d’entraînement standard. Ainsi, nous proposons une méthode appelée Noisy Concurrent Training (NCT), qui exploite l’apprentissage collaboratif pour tirer parti du consensus entre deux modèles comme source supplémentaire de supervision. En outre, inspirés par la variabilité inter-essais observée dans le cerveau, nous introduisons une technique de régularisation contre-intuitive, appelée « variabilité cible », qui consiste à modifier aléatoirement les étiquettes d’un pourcentage d’échantillons d’un lot à chaque étape d’entraînement, afin de dissuader la mémorisation et la sur-généralisation dans les DNN. Cette variabilité cible est appliquée indépendamment à chaque modèle afin de maintenir leur divergence et éviter le biais de confirmation. Étant donné que les DNN ont tendance à apprendre d’abord les motifs simples avant de mémoriser les étiquettes bruitées, nous mettons en œuvre un schéma d’apprentissage dynamique : au fur et à mesure de l’avancement de l’entraînement, les deux modèles s’appuient de plus en plus sur leur consensus. Le NCT augmente également progressivement la variabilité cible au cours des phases ultérieures de l’entraînement, afin d’éviter toute mémorisation tardive. Nous démontrons l’efficacité de notre approche sur des jeux de données synthétiques ainsi que sur des benchmarks réels soumis à du bruit.