التحسين العشوائي
التحسين العشوائي هو عملية تولد واستخدم متغيرات عشوائية لتحسين دالة هدف محددة. يسير هذا الأسلوب عادةً بطريقة تكرارية، بحثًا تدريجيًا عن الحد الأدنى أو الأقصى لدالة الهدف. يتم تطبيق التحسين العشوائي في فضاءات الدوال غير المحدبة، حيث تكون الأساليب التقليدية للتحسين الحتمي مثل البرمجة الخطية أو البرمجة التربيعية غير فعالة. يكمن جوهره في تعزيز كفاءة التحسين ومتانته من خلال الاستكشاف العشوائي، مما يجعله ذا قيمة واسعة في مختلف التطبيقات.
CIFAR-100 WRN-28-10 - 200 Epochs
AvaGrad
CIFAR-10 WRN-28-10 - 200 Epochs
Adam (eps-adjusted)
ImageNet ResNet-50 - 90 Epochs
Penn Treebank (Character Level) 3x1000 LSTM - 500 Epochs
CIFAR-10 ResNet-18 - 200 Epochs
SGD - cosine LR schedule
ImageNet ResNet-50 - 60 Epochs
Lookahead
CIFAR-10
Resnet18
ImageNet ResNet-50 - 50 Epochs
Lookahead
CIFAR-100
Resnet18
MNIST
MLP
CoLA
AG News
Bert