Kombinierte Optimierungsmethode: ADAM und SGD mischen

Optimierungsverfahren (Optimizers) erhalten besondere Aufmerksamkeit für die effiziente Trainings von neuronalen Netzen im Bereich des Deep Learning. In der Literatur existieren zahlreiche Arbeiten, die neuronale Modelle vergleichen, die mit unterschiedlichen Optimierern trainiert wurden. Jede dieser Arbeiten zeigt, dass für ein bestimmtes Problem ein bestimmter Optimierer gegenüber den anderen überlegen ist – doch sobald sich das Problem ändert, gilt diese Aussage nicht mehr, und man muss von vorne beginnen. In unserer Arbeit schlagen wir vor, die Kombination zweier sehr unterschiedlicher Optimierer zu nutzen, die jedoch gleichzeitig eingesetzt werden können, um die Leistung einzelner Optimierer bei sehr unterschiedlichen Problemen zu überbieten. Wir stellen einen neuen Optimierer namens MAS (Mixing ADAM and SGD) vor, der SGD und ADAM gleichzeitig integriert, indem die Beiträge beider durch die Zuweisung konstanter Gewichte gewichtet werden. Anstatt versuchen zu wollen, SGD oder ADAM zu verbessern, nutzen wir beide gleichzeitig und kombinieren dabei deren Stärken. Wir haben mehrere Experimente an Bild- und Textdokumenten-Klassifikationsaufgaben durchgeführt, wobei verschiedene CNNs eingesetzt wurden. Durch experimentelle Evaluierung konnten wir nachweisen, dass der vorgeschlagene MAS-Optimierer eine bessere Leistung erzielt als die einzelnen Optimierer SGD oder ADAM. Der Quellcode sowie alle Experimentsergebnisse sind online unter folgender Adresse verfügbar: https://gitlab.com/nicolandromulti_optimizer