Amélioration de la régularisation des réseaux de neurones convolutifs avec Cutout

Les réseaux neuronaux convolutifs sont capables d'apprendre des espaces représentatifs puissants, qui sont nécessaires pour aborder des tâches d'apprentissage complexes. Cependant, en raison de la capacité du modèle requise pour capturer de telles représentations, ils sont souvent sujets au surapprentissage et nécessitent donc une régularisation appropriée afin de bien généraliser. Dans cet article, nous montrons que la technique de régularisation simple consistant à masquer aléatoirement des régions carrées de l'entrée pendant l'entraînement, que nous appelons cutout (masquage), peut être utilisée pour améliorer la robustesse et les performances globales des réseaux neuronaux convolutifs. Non seulement cette méthode est extrêmement facile à mettre en œuvre, mais nous démontrons également qu'elle peut être combinée avec les formes existantes d'augmentation de données et d'autres régularisateurs pour améliorer encore davantage les performances du modèle. Nous évaluons cette méthode en l'appliquant aux architectures actuelles de pointe sur les jeux de données CIFAR-10, CIFAR-100 et SVHN, obtenant ainsi de nouveaux résultats de pointe avec des erreurs de test respectives de 2,56 %, 15,20 % et 1,30 %. Le code est disponible à l'adresse https://github.com/uoguelph-mlrg/Cutout.