Cet article établit une fondation mathématique pour l’optimiseur Adam, en mettant en lumière son lien avec la descente du gradient naturel via la géométrie riemannienne et la géométrie de l’information. Nous proposons une analyse accessible et détaillée de la matrice d’information de Fisher empirique diagonale (FIM) utilisée dans Adam, en clarifiant toutes les approximations effectuées et en défendant l’utilisation de fonctions de probabilité logarithmique comme fonction de perte, qui doivent être fondées sur des distributions discrètes, en raison des limites de la FIM empirique. Notre analyse révèle des défauts dans l’algorithme original Adam, conduisant à des corrections proposées telles qu’une amélioration du calcul de la momentum, une correction de biais ajustée, un epsilon adaptatif et un clipping du gradient. Nous révisons également le terme de décroissance des poids (weight decay) sur la base de notre cadre théorique. Notre algorithme modifié, appelé Fisher Adam (FAdam), démontre des performances supérieures dans divers domaines, notamment les modèles de langage à grande échelle (LLM), la reconnaissance automatique de la parole (ASR) et les VQ-VAE, atteignant des résultats de pointe dans le domaine de l’ASR.