確率的最適化
確率的最適化は、特定の目的関数を最適化するために乱数変数を生成し、利用するプロセスです。この方法は通常、反復的な形で進行し、目的関数の最小値や最大値を徐々に探索します。確率的最適化は、線形計画法や二次計画法などの従来の確定的最適化手法が効果的でない非凸関数空間でも適用可能です。その核心は、ランダムな探索を通じて最適化の効率と堅牢性を向上させることにあり、さまざまな応用分野で広く価値があります。
CIFAR-10 WRN-28-10 - 200 Epochs
Adam (eps-adjusted)
CIFAR-100 WRN-28-10 - 200 Epochs
AvaGrad
CIFAR-10 ResNet-18 - 200 Epochs
SGD - cosine LR schedule
ImageNet ResNet-50 - 90 Epochs
Penn Treebank (Character Level) 3x1000 LSTM - 500 Epochs
CIFAR-10
Resnet18
CIFAR-100
Resnet18
ImageNet ResNet-50 - 50 Epochs
Lookahead
ImageNet ResNet-50 - 60 Epochs
Lookahead
AG News
Bert
CoLA
MNIST
MLP