Importance des caractéristiques basée sur la variance dans les réseaux de neurones

Cet article propose une nouvelle méthode pour mesurer l’importance relative des caractéristiques dans les modèles de réseaux de neurones artificiels (ANN). Son principe fondamental repose sur l’hypothèse selon laquelle plus une caractéristique est importante, plus les poids associés au neurone d’entrée correspondant subiront de modifications durant l’entraînement du modèle. Pour capturer ce comportement, la variance en temps réel de chaque poids relié à la couche d’entrée est mesurée durant l’entraînement. À cette fin, une adaptation de l’algorithme en ligne de Welford pour le calcul de la variance en temps réel est proposée. Une fois l’entraînement terminé, les variances des poids sont combinées aux poids finaux pour chaque entrée afin d’obtenir une mesure d’importance relative pour chaque caractéristique. Cette méthode a été évaluée sur des architectures de réseaux de neurones à la fois plats et profonds, sur plusieurs problèmes classiques de classification et de régression. Les résultats obtenus confirment que cette approche permet de produire des mesures significatives. En outre, les scores d’importance obtenus présentent une forte corrélation avec les scores d’importance des variables issus de la méthode des forêts aléatoires (Random Forests, RF).