Optimisation stochastique
L'optimisation stochastique est un processus qui génère et utilise des variables aléatoires pour optimiser une fonction objectif spécifique. Cette méthode procède généralement de manière itérative, recherchant progressivement le minimum ou le maximum de la fonction objectif. L'optimisation stochastique est applicable dans les espaces de fonctions non convexes, où les méthodes d'optimisation déterministes traditionnelles, telles que la programmation linéaire ou quadratique, sont inefficaces. Son essence réside dans l'amélioration de l'efficacité et de la robustesse de l'optimisation grâce à l'exploration aléatoire, ce qui en fait une approche largement précieuse dans divers domaines d'application.
CIFAR-10 WRN-28-10 - 200 Epochs
Adam (eps-adjusted)
CIFAR-100 WRN-28-10 - 200 Epochs
AvaGrad
CIFAR-10 ResNet-18 - 200 Epochs
SGD - cosine LR schedule
ImageNet ResNet-50 - 90 Epochs
Penn Treebank (Character Level) 3x1000 LSTM - 500 Epochs
CIFAR-10
Resnet18
CIFAR-100
Resnet18
ImageNet ResNet-50 - 50 Epochs
Lookahead
ImageNet ResNet-50 - 60 Epochs
Lookahead
AG News
Bert
CoLA
MNIST
MLP