HyperAIHyperAI

Command Palette

Search for a command to run...

Combinaison de ADAM et de SGD : une méthode d'optimisation combinée

Nicola Landro Ignazio Gallo Riccardo La Grassa

Résumé

Les méthodes d'optimisation (optimizers) suscitent une attention particulière pour l'entraînement efficace des réseaux de neurones dans le domaine de l'apprentissage profond. Dans la littérature, de nombreux travaux comparent des modèles neuronaux entraînés à l'aide d'optimiseurs différents. Chaque étude démontre que, pour un problème donné, un optimiseur est supérieur aux autres ; toutefois, lorsque le problème change, ces résultats ne sont plus valables et il devient nécessaire de repartir de zéro. Dans notre article, nous proposons d'utiliser une combinaison de deux optimiseurs très différents, mais dont l'usage simultané permet de surpasser les performances des optimiseurs individuels sur une large variété de problèmes. Nous introduisons un nouvel optimiseur, nommé MAS (Mixing ADAM and SGD), qui intègre simultanément SGD et ADAM en pondérant leurs contributions respectives par des poids constants. Plutôt que de chercher à améliorer SGD ou ADAM séparément, nous exploitons les deux méthodes en même temps, en tirant parti de leurs forces respectives. Nous avons mené plusieurs expériences sur la classification d’images et de documents textuels, en utilisant divers réseaux de neurones convolutifs (CNN), et nos résultats expérimentaux démontrent que l'optimiseur MAS proposé obtient des performances supérieures à celles des optimiseurs SGD ou ADAM utilisés seuls. Le code source et l’ensemble des résultats des expériences sont disponibles en ligne à l’adresse suivante : https://gitlab.com/nicolalandro/multi_optimizer


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Combinaison de ADAM et de SGD : une méthode d'optimisation combinée | Articles | HyperAI