Dominance des méthodes adaptatives indépendante du domaine

À partir d'une analyse simplifiée des méthodes adaptatives, nous dérivons AvaGrad, un nouvel optimiseur qui surpasser le SGD sur des tâches de vision lorsque son degré d'adaptabilité est correctement réglé. Nous observons que la puissance de notre méthode s'explique en partie par un découplage entre le taux d'apprentissage et l'adaptabilité, ce qui simplifie considérablement la recherche de hyperparamètres. À la lumière de cette observation, nous démontrons que, contrairement à l'opinion courante, Adam peut également surpasser le SGD sur des tâches de vision, à condition de prendre en compte le couplage entre son taux d'apprentissage et son adaptabilité. En pratique, AvaGrad atteint les meilleurs résultats, mesurés par la précision de généralisation, obtenus par n'importe quel optimiseur existant (SGD ou adaptatif) sur des tâches de classification d'images (CIFAR, ImageNet) et de modélisation linguistique au niveau des caractères (Penn Treebank).