HyperAIHyperAI

Command Palette

Search for a command to run...

Connexions neuronales adaptatives pour l'apprentissage de la parcimonie

Prakhar Kaushik Hava Siegelmann Alex Gain

Résumé

L’apprentissage de la parcimonie vise à réduire les coûts computationnels et mémoire des grands réseaux de neurones profonds (DNN) par élagage des connexions neuronales, tout en préservant une haute précision. Un vaste corpus de travaux a été consacré au développement de méthodes d’apprentissage de la parcimonie, et des expériences récentes à grande échelle ont montré que deux approches principales — l’élagage basé sur la magnitude et le Dropout variationnel (VD) — atteignent des résultats de pointe similaires pour les tâches de classification. Nous proposons une méthode appelée Connexions neuronales adaptatives (ANC), qui permet de paramétrer explicitement les connexions fines entre neurones au sein de chaque couche via des matrices d’adjacence apprises par rétropropagation. Le paramétrage explicite des connexions neurone-à-neurone présente deux avantages principaux : 1. La parcimonie peut être optimisée de manière explicite grâce à une régularisation basée sur la norme appliquée aux matrices d’adjacence ; et 2. Lorsqu’elle est combinée au Dropout variationnel (ce que nous appelons ANC-VD), les matrices d’adjacence peuvent être interprétées comme des paramètres d’importance apprise des poids, ce que nous supposons améliore la convergence du VD. Des expériences menées sur ResNet18 montrent que les architectures enrichies par ANC surpassent leurs versions initiales (vanilla).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Connexions neuronales adaptatives pour l'apprentissage de la parcimonie | Articles | HyperAI