ConvNets mit glatten adaptiven Aktivierungsfunktionen für die Regression

Innerhalb von neuronalen Netzen (NN) steuern die Parameter adaptiver Aktivierungsfunktionen (Adaptive Activation Functions, AAF) die Form der Aktivierungsfunktionen. Diese Parameter werden gemeinsam mit den übrigen Parametern im NN trainiert. AAFs haben die Leistung von Faltungsneuronalen Netzen (Convolutional Neural Networks, CNN) bei mehreren Klassifizierungsaufgaben verbessert. In diesem Artikel schlagen wir die Anwendung von AAFs auf CNNs für Regressionsaufgaben vor und untersuchen sie. Wir argumentieren, dass die Verwendung von AAFs in der Regressions-(zweitletzten) Schicht eines NN die Bias der Regressions-NN signifikant reduzieren kann. Allerdings können bestehende AAFs zu Überanpassung führen. Um dieses Problem zu lösen, stellen wir eine glatte adaptive Aktivierungsfunktion (Smooth Adaptive Activation Function, SAAF) mit stückweiser polynomialem Ansatz vor, die jede stetige Funktion mit beliebig kleiner Fehlergrenze approximieren kann und gleichzeitig eine beschränkte Lipschitz-Konstante aufweist, sofern die Modellparameter beschränkt sind. Dadurch können NNs mit SAAF Überanpassung vermeiden, indem lediglich die Modellparameter reguliert werden. Wir haben CNNs mit SAAFs empirisch evaluiert und erreichten dabei state-of-the-art Ergebnisse auf Datensätzen zur Alters- und Pose-Schätzung.