HyperAIHyperAI

Command Palette

Search for a command to run...

Importance des caractéristiques basée sur la variance dans les réseaux de neurones

Cláudio Rebelo de Sá

Résumé

Cet article propose une nouvelle méthode pour mesurer l’importance relative des caractéristiques dans les modèles de réseaux de neurones artificiels (ANN). Son principe fondamental repose sur l’hypothèse selon laquelle plus une caractéristique est importante, plus les poids associés au neurone d’entrée correspondant subiront de modifications durant l’entraînement du modèle. Pour capturer ce comportement, la variance en temps réel de chaque poids relié à la couche d’entrée est mesurée durant l’entraînement. À cette fin, une adaptation de l’algorithme en ligne de Welford pour le calcul de la variance en temps réel est proposée. Une fois l’entraînement terminé, les variances des poids sont combinées aux poids finaux pour chaque entrée afin d’obtenir une mesure d’importance relative pour chaque caractéristique. Cette méthode a été évaluée sur des architectures de réseaux de neurones à la fois plats et profonds, sur plusieurs problèmes classiques de classification et de régression. Les résultats obtenus confirment que cette approche permet de produire des mesures significatives. En outre, les scores d’importance obtenus présentent une forte corrélation avec les scores d’importance des variables issus de la méthode des forêts aléatoires (Random Forests, RF).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp