Estimation Adaptative Du Moment Adam

Adam signifie Adaptive Moment Estimation, un algorithme d'optimisation de gradient du premier ordre, particulièrement adapté au traitement de problèmes d'optimisation de données et de paramètres à grande échelle. Il a été proposé par Diederik P. Kingma et Jimmy Ba en 2014, et publié dans l'article de la conférence ICLR 2015 "Adam : une méthode d'optimisation stochastique".

L'algorithme d'Adam est un algorithme d'optimisation basé sur le gradient du premier ordre pour les fonctions objectives stochastiques, qui est basé sur l'estimation adaptative des moments d'ordre inférieur. Cette méthode est simple à mettre en œuvre, efficace en termes de calcul, nécessite peu de mémoire et est invariante à la mise à l'échelle diagonale des gradients, ce qui la rend bien adaptée aux problèmes avec de grandes quantités de données et/ou de paramètres. La méthode est également applicable aux objets non statiques et aux problèmes avec des gradients très bruyants et/ou clairsemés. Les hyperparamètres ont des interprétations intuitives et ne nécessitent généralement pas beaucoup de réglages.