HyperAIHyperAI

Command Palette

Search for a command to run...

Kombinierte Optimierungsmethode: ADAM und SGD mischen

Nicola Landro Ignazio Gallo Riccardo La Grassa

Zusammenfassung

Optimierungsverfahren (Optimizers) erhalten besondere Aufmerksamkeit für die effiziente Trainings von neuronalen Netzen im Bereich des Deep Learning. In der Literatur existieren zahlreiche Arbeiten, die neuronale Modelle vergleichen, die mit unterschiedlichen Optimierern trainiert wurden. Jede dieser Arbeiten zeigt, dass für ein bestimmtes Problem ein bestimmter Optimierer gegenüber den anderen überlegen ist – doch sobald sich das Problem ändert, gilt diese Aussage nicht mehr, und man muss von vorne beginnen. In unserer Arbeit schlagen wir vor, die Kombination zweier sehr unterschiedlicher Optimierer zu nutzen, die jedoch gleichzeitig eingesetzt werden können, um die Leistung einzelner Optimierer bei sehr unterschiedlichen Problemen zu überbieten. Wir stellen einen neuen Optimierer namens MAS (Mixing ADAM and SGD) vor, der SGD und ADAM gleichzeitig integriert, indem die Beiträge beider durch die Zuweisung konstanter Gewichte gewichtet werden. Anstatt versuchen zu wollen, SGD oder ADAM zu verbessern, nutzen wir beide gleichzeitig und kombinieren dabei deren Stärken. Wir haben mehrere Experimente an Bild- und Textdokumenten-Klassifikationsaufgaben durchgeführt, wobei verschiedene CNNs eingesetzt wurden. Durch experimentelle Evaluierung konnten wir nachweisen, dass der vorgeschlagene MAS-Optimierer eine bessere Leistung erzielt als die einzelnen Optimierer SGD oder ADAM. Der Quellcode sowie alle Experimentsergebnisse sind online unter folgender Adresse verfügbar: https://gitlab.com/nicolandromulti_optimizer


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp