Stochastic Optimization
随机优化是通过生成和利用随机变量来优化特定目标函数的过程。该方法通常以迭代形式进行,逐步寻找目标函数的极小值或极大值。随机优化适用于非凸函数空间,在这些空间中,传统的确定性优化方法如线性规划或二次规划无法有效应用。其核心在于通过随机探索提高优化效率和鲁棒性,具有广泛的应用价值。
AG News
Bert
CIFAR-10
Resnet18
CIFAR-10 ResNet-18 - 200 Epochs
SGD - cosine LR schedule
CIFAR-10 WRN-28-10 - 200 Epochs
Adam (eps-adjusted)
CIFAR-100
Resnet18
CIFAR-100 WRN-28-10 - 200 Epochs
AvaGrad
CoLA
ImageNet ResNet-50 - 50 Epochs
Lookahead
ImageNet ResNet-50 - 60 Epochs
Lookahead
ImageNet ResNet-50 - 90 Epochs
MNIST
MLP
Penn Treebank (Character Level) 3x1000 LSTM - 500 Epochs