Trainierbare Aktivierungen für die Bildklassifikation

Nichtlineare Aktivierungsfunktionen sind eine der zentralen Komponenten von tiefen neuronalen Netzwerken. Die Wahl der Aktivierungsfunktion beeinflusst Geschwindigkeit, Leistungsfähigkeit und Konvergenz des Modells. Die meisten gängigen Aktivierungsfunktionen weisen keine trainierbaren Parameter auf und verändern sich während des Trainings nicht. In diesem Beitrag werden verschiedene Aktivierungsfunktionen vorgestellt, sowohl mit als auch ohne trainierbare Parameter. Diese Funktionen weisen jeweils eine Reihe von Vor- und Nachteilen auf. Wir werden die Leistungsfähigkeit dieser Aktivierungsfunktionen testen und die Ergebnisse mit der weit verbreiteten Aktivierungsfunktion ReLU vergleichen. Wir gehen davon aus, dass Aktivierungsfunktionen mit trainierbaren Parametern die Leistung von solchen ohne Parameter übertrifft, da die trainierbaren Parameter dem Modell ermöglichen, selbstständig den jeweiligen Typ der Aktivierungsfunktion auszuwählen. Dies hängt jedoch stark von der Architektur des tiefen neuronalen Netzwerks und der spezifischen Aktivierungsfunktion ab.