스토캐스틱 최적화
스토캐스틱 최적화는 특정 목적 함수를 최적화하기 위해 임의 변수를 생성하고 활용하는 과정입니다. 이 방법은 일반적으로 반복적인 방식으로 진행되며, 점진적으로 목적 함수의 최소값이나 최대값을 탐색합니다. 스토캐스틱 최적화는 전통적인 결정론적 최적화 방법인 선형 계획법이나 이차 계획법이 효과적이지 않은 비볼록 함수 공간에서도 적용할 수 있습니다. 이 방법의 핵심은 임의 탐색을 통해 최적화 효율성과 강건성을 향상시키는 데 있으며, 다양한 응용 분야에서 널리 활용되고 있습니다.
CIFAR-10 WRN-28-10 - 200 Epochs
Adam (eps-adjusted)
CIFAR-100 WRN-28-10 - 200 Epochs
AvaGrad
CIFAR-10 ResNet-18 - 200 Epochs
SGD - cosine LR schedule
ImageNet ResNet-50 - 90 Epochs
Penn Treebank (Character Level) 3x1000 LSTM - 500 Epochs
CIFAR-10
Resnet18
CIFAR-100
Resnet18
ImageNet ResNet-50 - 50 Epochs
Lookahead
ImageNet ResNet-50 - 60 Epochs
Lookahead
AG News
Bert
CoLA
MNIST
MLP