Combinaison de ADAM et de SGD : une méthode d'optimisation combinée

Les méthodes d'optimisation (optimizers) suscitent une attention particulière pour l'entraînement efficace des réseaux de neurones dans le domaine de l'apprentissage profond. Dans la littérature, de nombreux travaux comparent des modèles neuronaux entraînés à l'aide d'optimiseurs différents. Chaque étude démontre que, pour un problème donné, un optimiseur est supérieur aux autres ; toutefois, lorsque le problème change, ces résultats ne sont plus valables et il devient nécessaire de repartir de zéro. Dans notre article, nous proposons d'utiliser une combinaison de deux optimiseurs très différents, mais dont l'usage simultané permet de surpasser les performances des optimiseurs individuels sur une large variété de problèmes. Nous introduisons un nouvel optimiseur, nommé MAS (Mixing ADAM and SGD), qui intègre simultanément SGD et ADAM en pondérant leurs contributions respectives par des poids constants. Plutôt que de chercher à améliorer SGD ou ADAM séparément, nous exploitons les deux méthodes en même temps, en tirant parti de leurs forces respectives. Nous avons mené plusieurs expériences sur la classification d’images et de documents textuels, en utilisant divers réseaux de neurones convolutifs (CNN), et nos résultats expérimentaux démontrent que l'optimiseur MAS proposé obtient des performances supérieures à celles des optimiseurs SGD ou ADAM utilisés seuls. Le code source et l’ensemble des résultats des expériences sont disponibles en ligne à l’adresse suivante : https://gitlab.com/nicolalandro/multi_optimizer