Stochastische Optimierung
Stochastische Optimierung ist ein Prozess, der zufällige Variablen generiert und nutzt, um eine spezifische Zielfunktion zu optimieren. Diese Methode verläuft in der Regel iterativ und sucht schrittweise nach dem Minimum oder Maximum der Zielfunktion. Stochastische Optimierung ist in nicht-konvexen Funktionenräumen anwendbar, wo traditionelle deterministische Optimierungsverfahren wie lineare oder quadratische Programmierung ineffektiv sind. Ihr Kern liegt darin, die Optimierungseffizienz und -robustheit durch zufällige Exploration zu verbessern, was sie in verschiedenen Anwendungen weit verbreitet macht.
CIFAR-10 WRN-28-10 - 200 Epochs
Adam (eps-adjusted)
CIFAR-100 WRN-28-10 - 200 Epochs
AvaGrad
CIFAR-10 ResNet-18 - 200 Epochs
SGD - cosine LR schedule
ImageNet ResNet-50 - 90 Epochs
Penn Treebank (Character Level) 3x1000 LSTM - 500 Epochs
CIFAR-10
Resnet18
CIFAR-100
Resnet18
ImageNet ResNet-50 - 50 Epochs
Lookahead
ImageNet ResNet-50 - 60 Epochs
Lookahead
AG News
Bert
CoLA
MNIST
MLP