HyperAIHyperAI

Command Palette

Search for a command to run...

Ein Realitätscheck für Großbatch-Optimierer: Traditionelle, generische Optimierer reichen aus, unabhängig von der Batchgröße

Zachary Nado Justin M. Gilmer Christopher J. Shallue Rohan Anil George E. Dahl

Zusammenfassung

Kürzlich wurden die Optimierer LARS und LAMB vorgeschlagen, um das Training neuronaler Netze mit großen Batch-Größen schneller zu gestalten. LARS und LAMB integrieren jeweils eine schichtweise Normalisierung in die Aktualisierungsregeln des Heavy-ball-Momentum- und des Adam-Optimierers und haben sich in bedeutenden Benchmarks sowie in gängigen Deep-Learning-Bibliotheken weit verbreitet. Allerdings bleibt die Frage offen, ob LARS und LAMB im Vergleich zu herkömmlichen, allgemeingültigen Optimieralgorithmen tatsächlich Vorteile bieten, solange keine fairen Vergleiche mit Standard-Optimierern durchgeführt wurden. In dieser Arbeit zeigen wir, dass herkömmliche Optimierungsalgorithmen wie der Nesterov-Momentum und Adam bei großen Batch-Größen die Leistung von LARS und LAMB erreichen oder sogar übertreffen können. Unsere Ergebnisse etablieren neue, stärkere Benchmarks für zukünftige Vergleiche bei großen Batch-Größen und beleuchten allgemeine Schwierigkeiten beim Vergleich von Optimierern im Kontext des Trainings neuronaler Netze.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Ein Realitätscheck für Großbatch-Optimierer: Traditionelle, generische Optimierer reichen aus, unabhängig von der Batchgröße | Paper | HyperAI