HyperAIHyperAI

Command Palette

Search for a command to run...

Mixage guidé par la salience et accéléré par le seuillage aléatoire du gradient

Minh-Long Luu Zeyi Huang Eric P. Xing Yong Jae Lee Haohan Wang

Résumé

Les approches de formation par mixage (mix-up) ont fait leurs preuves en améliorant la capacité de généralisation des Réseaux Neuronaux Profonds. Au fil des années, la communauté de recherche a développé les méthodes de mixage dans deux directions, avec des efforts considérables pour améliorer les procédures guidées par la saillance, mais une attention minimale accordée au chemin arbitraire, laissant le domaine de la randomisation inexploré. Dans cet article, inspirés par les qualités supérieures de chaque direction par rapport à l'autre, nous présentons une nouvelle méthode qui se situe à l'intersection de ces deux voies. En combinant les meilleurs éléments de la randomisation et de l'utilisation de la saillance, notre méthode équilibre vitesse, simplicité et précision. Nous nommons notre méthode R-Mix en suivant le concept de "Random Mix-up". Nous démontrons son efficacité en termes de généralisation, de localisation d'objets faiblement supervisée, de calibration et de robustesse face aux attaques adversaires. Enfin, pour répondre à la question de savoir s'il existe un protocole décisionnel meilleur, nous formons un agent d'Apprentissage par Renforcement qui décide des politiques de mixage en fonction des performances du classifieur, réduisant ainsi la dépendance aux objectifs conçus par l'homme et à l'ajustement des hyperparamètres. Des expériences approfondies montrent également que l'agent est capable d'atteindre un niveau d'avant-garde, posant les bases d'un mixage entièrement automatique. Notre code est disponible sur [https://github.com/minhlong94/Random-Mixup].


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp