HyperAIHyperAI

Command Palette

Search for a command to run...

Régression avec des ConvNets à fonctions d’activation adaptatives lisses

Le Hou ; Dimitris Samaras ; Tahsin M. Kurc ; Yi Gao ; Joel H. Saltz

Résumé

Dans les réseaux de neurones (NN), les paramètres des fonctions d’activation adaptatives (AAF) contrôlent la forme des fonctions d’activation. Ces paramètres sont entraînés conjointement avec les autres paramètres du réseau. Les AAF ont amélioré les performances des réseaux de neurones convolutifs (CNN) dans diverses tâches de classification. Dans cet article, nous proposons et appliquons les AAF aux CNN pour des tâches de régression. Nous affirmons qu’appliquer les AAF dans la couche de régression (avant-dernière couche) d’un réseau de neurones peut significativement réduire le biais du modèle de régression. Toutefois, l’utilisation des AAF existantes peut entraîner un surapprentissage (overfitting). Pour résoudre ce problème, nous proposons une fonction d’activation adaptative lisse (SAAF) de forme polynomiale par morceaux, capable d’approximer toute fonction continue avec une précision arbitrairement élevée, tout en possédant une constante de Lipschitz bornée pour des paramètres de modèle bornés. En conséquence, les réseaux de neurones utilisant la SAAF peuvent éviter le surapprentissage en régularisant simplement les paramètres du modèle. Nous avons évalué empiriquement des CNN intégrant la SAAF et obtenu des résultats de pointe sur des jeux de données pour l’estimation de l’âge et de la posture.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Régression avec des ConvNets à fonctions d’activation adaptatives lisses | Articles | HyperAI