Entraînement par interpolation multi-objectif pour une robustesse au bruit d'étiquetage

Les réseaux de neurones profonds entraînés avec une fonction de perte classique d'entropie croisée mémorisent les étiquettes bruitées, ce qui dégrade leur performance. La plupart des recherches visant à atténuer cette mémorisation proposent de nouvelles fonctions de perte robustes pour la classification. À l'inverse, nous proposons une approche d'entraînement par interpolation multi-objectifs (MOIT) qui exploite conjointement l'apprentissage contrastif et la classification de manière à ce qu'elles s'aident mutuellement et améliorent la performance en présence de bruit d'étiquettes. Nous montrons que l'apprentissage contrastif supervisé classique se dégrade en présence de bruit d'étiquettes, et proposons une stratégie d'entraînement par interpolation pour atténuer ce comportement. Nous introduisons également une nouvelle méthode de détection du bruit d'étiquettes, exploitant les représentations de caractéristiques robustes apprises via l'apprentissage contrastif afin d'estimer des étiquettes douces par échantillon ; les désaccords entre ces étiquettes douces et les étiquettes originales permettent avec précision d'identifier les échantillons bruités. Cette détection permet de traiter les échantillons bruités comme non étiquetés, et d'entraîner un classificateur de manière semi-supervisée, afin d'éviter la mémorisation du bruit et d'améliorer l'apprentissage des représentations. Nous proposons par ailleurs MOIT+, une amélioration de MOIT par une phase de fine-tuning sur les échantillons propres détectés. Des études sur les hyperparamètres et des analyses d'ablation confirment l'importance des composants clés de notre méthode. Des expériences sur des benchmarks de bruit synthétiques et réels démontrent que MOIT/MOIT+ atteint des résultats de pointe. Le code est disponible à l'adresse https://git.io/JI40X.