HyperAIHyperAI

Command Palette

Search for a command to run...

Empirische Bewertung von ReLU-Aktivierungen in Faltungsnetzen

Bing Xu Naiyan Wang Tianqi Chen Mu Li

Zusammenfassung

In dieser Arbeit untersuchen wir die Leistung verschiedener ReLU-Aktivierungsfunktionen in Faltungsneuronalen Netzen: der Standard-ReLU, der leaky ReLU (Leaky ReLU), der parametrische ReLU (PReLU) und eine neue randomisierte leaky ReLU (RReLU). Wir evaluieren diese Aktivierungsfunktionen anhand einer Standardbildklassifizierungsaufgabe. Unsere Experimente deuten darauf hin, dass die Einbeziehung eines nicht-nullen Anstiegs für den negativen Bereich in ReLU-Aktivierungseinheiten die Ergebnisse konsistent verbessern kann. Somit widerlegen unsere Befunde die weit verbreitete Ansicht, dass Sparsamkeit der Schlüssel zur guten Leistung von ReLUs ist. Darüber hinaus neigen deterministische negative Anstiege oder das Lernen davon bei kleinen Datensätzen zu Überanpassung. Sie sind nicht so effektiv wie ihre randomisierten Entsprechungen. Durch den Einsatz von RReLU erreichten wir eine Genauigkeit von 75,68 % auf dem Testdatensatz von CIFAR-100 ohne mehrfache Tests oder Ensembleverfahren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Empirische Bewertung von ReLU-Aktivierungen in Faltungsnetzen | Paper | HyperAI