Activations entraînables pour la classification d'images

Les fonctions d'activation non linéaires constituent l'une des composantes essentielles des architectures de réseaux de neurones profonds. Le choix de la fonction d'activation peut influencer significativement la vitesse du modèle, ses performances et sa convergence. La plupart des fonctions d'activation les plus couramment utilisées ne comportent pas de paramètres entraînables et restent fixes pendant l'entraînement. Nous proposons des fonctions d'activation différentes, tant à paramètres entraînables qu'à paramètres non entraînables. Ces fonctions présentent chacune un ensemble d'avantages et d'inconvénients. Nous évaluerons leurs performances et les comparerons aux résultats obtenus avec la fonction d'activation ReLU, largement répandue. Nous supposons que les fonctions d'activation à paramètres entraînables peuvent surpasser celles sans paramètres, car les paramètres ajustables permettent au modèle de « sélectionner » automatiquement le type de fonction d'activation adaptée à chaque couche. Toutefois, cette supposition dépend fortement de l'architecture du réseau neuronal profond ainsi que de la nature même de la fonction d'activation utilisée.