Apprentissage avec des étiquettes bruitées par masquage bruyant adversarial auto-supervisé

La collecte de grands jeux de données est essentielle pour former des modèles profonds, mais l’annotation de ces données entraîne inévitablement des étiquettes bruitées, ce qui pose des défis aux algorithmes d’apprentissage profond. Les travaux antérieurs ont principalement cherché à atténuer ce problème en identifiant et en supprimant les échantillons bruités ou en corrigeant leurs étiquettes en se basant sur des propriétés statistiques (par exemple, les valeurs de perte) observées parmi les échantillons d’apprentissage. Dans cet article, nous abordons ce problème sous un nouvel angle, en examinant en profondeur les cartes de caractéristiques profondes. Nous constatons empiriquement que les modèles entraînés sur des échantillons propres et mal étiquetés présentent des distributions de caractéristiques d’activation nettement distinctes. À partir de cette observation, nous proposons une nouvelle approche robuste d’entraînement, nommée masquage bruité adversarial. L’idée consiste à régulariser les caractéristiques profondes à l’aide d’un schéma de masquage guidé par la qualité des étiquettes, qui module de manière adaptative à la fois les données d’entrée et les étiquettes, empêchant ainsi le modèle de s’ajuster excessivement aux échantillons bruités. En outre, une tâche auxiliaire est conçue pour reconstruire les données d’entrée, fournissant naturellement des signaux auto-supervisés exempts de bruit afin de renforcer la capacité de généralisation des modèles profonds. La méthode proposée est simple et flexible. Elle a été évaluée sur des jeux de données bruités synthétiques et réels, où elle obtient des améliorations significatives par rapport aux méthodes de pointe précédentes.