Mixage guidé par la salience et accéléré par le seuillage aléatoire du gradient

Les approches de formation par mixage (mix-up) ont fait leurs preuves en améliorant la capacité de généralisation des Réseaux Neuronaux Profonds. Au fil des années, la communauté de recherche a développé les méthodes de mixage dans deux directions, avec des efforts considérables pour améliorer les procédures guidées par la saillance, mais une attention minimale accordée au chemin arbitraire, laissant le domaine de la randomisation inexploré. Dans cet article, inspirés par les qualités supérieures de chaque direction par rapport à l'autre, nous présentons une nouvelle méthode qui se situe à l'intersection de ces deux voies. En combinant les meilleurs éléments de la randomisation et de l'utilisation de la saillance, notre méthode équilibre vitesse, simplicité et précision. Nous nommons notre méthode R-Mix en suivant le concept de "Random Mix-up". Nous démontrons son efficacité en termes de généralisation, de localisation d'objets faiblement supervisée, de calibration et de robustesse face aux attaques adversaires. Enfin, pour répondre à la question de savoir s'il existe un protocole décisionnel meilleur, nous formons un agent d'Apprentissage par Renforcement qui décide des politiques de mixage en fonction des performances du classifieur, réduisant ainsi la dépendance aux objectifs conçus par l'homme et à l'ajustement des hyperparamètres. Des expériences approfondies montrent également que l'agent est capable d'atteindre un niveau d'avant-garde, posant les bases d'un mixage entièrement automatique. Notre code est disponible sur [https://github.com/minhlong94/Random-Mixup].