Régression avec des ConvNets à fonctions d’activation adaptatives lisses

Dans les réseaux de neurones (NN), les paramètres des fonctions d’activation adaptatives (AAF) contrôlent la forme des fonctions d’activation. Ces paramètres sont entraînés conjointement avec les autres paramètres du réseau. Les AAF ont amélioré les performances des réseaux de neurones convolutifs (CNN) dans diverses tâches de classification. Dans cet article, nous proposons et appliquons les AAF aux CNN pour des tâches de régression. Nous affirmons qu’appliquer les AAF dans la couche de régression (avant-dernière couche) d’un réseau de neurones peut significativement réduire le biais du modèle de régression. Toutefois, l’utilisation des AAF existantes peut entraîner un surapprentissage (overfitting). Pour résoudre ce problème, nous proposons une fonction d’activation adaptative lisse (SAAF) de forme polynomiale par morceaux, capable d’approximer toute fonction continue avec une précision arbitrairement élevée, tout en possédant une constante de Lipschitz bornée pour des paramètres de modèle bornés. En conséquence, les réseaux de neurones utilisant la SAAF peuvent éviter le surapprentissage en régularisant simplement les paramètres du modèle. Nous avons évalué empiriquement des CNN intégrant la SAAF et obtenu des résultats de pointe sur des jeux de données pour l’estimation de l’âge et de la posture.