Adaptive Momentschätzung Adam

Adam steht für Adaptive Moment Estimation, einen Algorithmus zur Gradientenoptimierung erster Ordnung, der sich besonders für die Bearbeitung umfangreicher Daten- und Parameteroptimierungsprobleme eignet. Es wurde 2014 von Diederik P. Kingma und Jimmy Ba vorgeschlagen und im ICLR-Konferenzpapier 2015 veröffentlicht.Adam: Eine Methode zur stochastischen Optimierung".

Der Adam-Algorithmus ist ein auf Gradienten erster Ordnung basierender Optimierungsalgorithmus für stochastische Zielfunktionen, der auf der adaptiven Schätzung von Momenten niedriger Ordnung basiert. Diese Methode ist einfach zu implementieren, rechnerisch effizient, benötigt wenig Speicher und ist invariant gegenüber der diagonalen Skalierung von Gradienten, sodass sie sich gut für Probleme mit großen Datenmengen und/oder Parametern eignet. Die Methode ist auch auf nicht statische Objekte und Probleme mit sehr verrauschten und/oder spärlichen Gradienten anwendbar. Hyperparameter sind intuitiv zu interpretieren und erfordern normalerweise keine große Feinabstimmung.