Empirische Bewertung von ReLU-Aktivierungen in Faltungsnetzen

In dieser Arbeit untersuchen wir die Leistung verschiedener ReLU-Aktivierungsfunktionen in Faltungsneuronalen Netzen: der Standard-ReLU, der leaky ReLU (Leaky ReLU), der parametrische ReLU (PReLU) und eine neue randomisierte leaky ReLU (RReLU). Wir evaluieren diese Aktivierungsfunktionen anhand einer Standardbildklassifizierungsaufgabe. Unsere Experimente deuten darauf hin, dass die Einbeziehung eines nicht-nullen Anstiegs für den negativen Bereich in ReLU-Aktivierungseinheiten die Ergebnisse konsistent verbessern kann. Somit widerlegen unsere Befunde die weit verbreitete Ansicht, dass Sparsamkeit der Schlüssel zur guten Leistung von ReLUs ist. Darüber hinaus neigen deterministische negative Anstiege oder das Lernen davon bei kleinen Datensätzen zu Überanpassung. Sie sind nicht so effektiv wie ihre randomisierten Entsprechungen. Durch den Einsatz von RReLU erreichten wir eine Genauigkeit von 75,68 % auf dem Testdatensatz von CIFAR-100 ohne mehrfache Tests oder Ensembleverfahren.