Le masquage rencontre la supervision : une alliance d’apprentissage puissante

L’entraînement préalable avec des entrées masquées aléatoirement s’est imposé comme une nouvelle tendance dans l’apprentissage auto-supervisé. Toutefois, l’apprentissage supervisé peine encore à adopter les augmentations par masquage, principalement en raison d’une instabilité durant l’entraînement. Dans ce papier, nous proposons une nouvelle approche pour intégrer ces augmentations par masquage, nommée Masked Sub-branch (MaskSub). MaskSub se compose d’une branche principale et d’une sous-branche, cette dernière étant une partie intégrante de la première. La branche principale suit des recettes d’entraînement classiques, tandis que la sous-branche bénéficie d’augmentations par masquage intensives pendant l’entraînement. MaskSub surmonte ce défi en atténuant les effets néfastes grâce à une fonction de perte assouplie, similaire à une perte de distillation auto-supervisée. Notre analyse montre que MaskSub améliore les performances, avec une convergence plus rapide de la perte d’entraînement par rapport à l’entraînement standard, ce qui indique une stabilisation du processus d’entraînement. Nous validons également MaskSub dans divers scénarios d’entraînement et architectures modèles, incluant l’entraînement DeiT-III, le finetuning MAE, le finetuning CLIP, l’entraînement BERT ainsi que des architectures hiérarchiques (ResNet et Swin Transformer). Nos résultats démontrent que MaskSub obtient de manière cohérente des gains significatifs dans tous les cas étudiés. MaskSub offre ainsi une solution pratique et efficace pour introduire une régularisation supplémentaire dans diverses recettes d’entraînement. Le code est disponible à l’adresse suivante : https://github.com/naver-ai/augsub