HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

ConvNets mit glatten adaptiven Aktivierungsfunktionen für die Regression

{Le Hou ; Dimitris Samaras ; Tahsin M. Kurc ; Yi Gao ; Joel H. Saltz}

ConvNets mit glatten adaptiven Aktivierungsfunktionen für die Regression

Abstract

Innerhalb von neuronalen Netzen (NN) steuern die Parameter adaptiver Aktivierungsfunktionen (Adaptive Activation Functions, AAF) die Form der Aktivierungsfunktionen. Diese Parameter werden gemeinsam mit den übrigen Parametern im NN trainiert. AAFs haben die Leistung von Faltungsneuronalen Netzen (Convolutional Neural Networks, CNN) bei mehreren Klassifizierungsaufgaben verbessert. In diesem Artikel schlagen wir die Anwendung von AAFs auf CNNs für Regressionsaufgaben vor und untersuchen sie. Wir argumentieren, dass die Verwendung von AAFs in der Regressions-(zweitletzten) Schicht eines NN die Bias der Regressions-NN signifikant reduzieren kann. Allerdings können bestehende AAFs zu Überanpassung führen. Um dieses Problem zu lösen, stellen wir eine glatte adaptive Aktivierungsfunktion (Smooth Adaptive Activation Function, SAAF) mit stückweiser polynomialem Ansatz vor, die jede stetige Funktion mit beliebig kleiner Fehlergrenze approximieren kann und gleichzeitig eine beschränkte Lipschitz-Konstante aufweist, sofern die Modellparameter beschränkt sind. Dadurch können NNs mit SAAF Überanpassung vermeiden, indem lediglich die Modellparameter reguliert werden. Wir haben CNNs mit SAAFs empirisch evaluiert und erreichten dabei state-of-the-art Ergebnisse auf Datensätzen zur Alters- und Pose-Schätzung.

Benchmarks

BenchmarkMethodikMetriken
age-and-gender-classification-on-adience-ageR-SAAFc2 +IMDB-WIKI
Accuracy (5-fold): 67.3

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
ConvNets mit glatten adaptiven Aktivierungsfunktionen für die Regression | Forschungsarbeiten | HyperAI