Stochastische Optimierung
Stochastische Optimierung ist ein Prozess, der zufällige Variablen generiert und nutzt, um eine spezifische Zielfunktion zu optimieren. Diese Methode verläuft in der Regel iterativ und sucht schrittweise nach dem Minimum oder Maximum der Zielfunktion. Stochastische Optimierung ist in nicht-konvexen Funktionenräumen anwendbar, wo traditionelle deterministische Optimierungsverfahren wie lineare oder quadratische Programmierung ineffektiv sind. Ihr Kern liegt darin, die Optimierungseffizienz und -robustheit durch zufällige Exploration zu verbessern, was sie in verschiedenen Anwendungen weit verbreitet macht.
CIFAR-100 WRN-28-10 - 200 Epochs
AvaGrad
CIFAR-10 WRN-28-10 - 200 Epochs
Adam (eps-adjusted)
ImageNet ResNet-50 - 90 Epochs
Penn Treebank (Character Level) 3x1000 LSTM - 500 Epochs
CIFAR-10 ResNet-18 - 200 Epochs
SGD - cosine LR schedule
ImageNet ResNet-50 - 60 Epochs
Lookahead
CIFAR-10
Resnet18
ImageNet ResNet-50 - 50 Epochs
Lookahead
CIFAR-100
Resnet18
MNIST
MLP
CoLA
AG News
Bert