Puzzle Mix : Exploiter la saillance et les statistiques locales pour un Mixup optimal

Bien que les réseaux neuronaux profonds atteignent de très bons résultats sur l’ajustement de la distribution d’apprentissage, les réseaux appris sont sujets au surajustement et vulnérables aux attaques adverses. À cet égard, plusieurs méthodes d’augmentation basées sur le mixup ont été récemment proposées. Toutefois, ces approches se concentrent principalement sur la création d’exemples virtuels inédits, ce qui peut parfois fournir un signal de supervision trompeur au réseau. Pour remédier à cela, nous proposons Puzzle Mix, une méthode de mixup permettant d’utiliser explicitement les informations de saliency et les statistiques sous-jacentes des exemples naturels. Cela donne lieu à un problème d’optimisation intéressant alternant entre une objectif multi-étiquettes pour le masque de mélange optimal et un objectif d’optimisation par transport optimal pénalisé par la saliency. Nos expériences montrent que Puzzle Mix atteint des résultats de généralisation et de robustesse aux attaques adverses de pointe par rapport aux autres méthodes de mixup sur les jeux de données CIFAR-100, Tiny-ImageNet et ImageNet. Le code source est disponible à l’adresse suivante : https://github.com/snu-mllab/PuzzleMix.