HyperAIHyperAI

Command Palette

Search for a command to run...

À Quelle Importance la Symétrie des Poids dans la Rétropropagation ?

Qianli Liao Joel Z. Leibo Tomaso Poggio

Résumé

La rétropropagation du gradient (BP) nécessite des connexions feedforward et feedback symétriques – les mêmes poids doivent être utilisés pour les passes avant et arrière. Ce problème de transport des poids (Grossberg 1987) est considéré comme l'une des principales raisons de douter de la plausibilité biologique de BP. En utilisant 15 ensembles de données différents pour la classification, nous avons systématiquement enquêté sur la dépendance réelle de BP à la symétrie des poids. Notre étude, qui s'est avérée surprenamment similaire en esprit à celle présentée par Lillicrap et al. (Lillicrap et al. 2014), mais orthogonale dans ses résultats, indique que : (1) les valeurs absolues des poids feedback n'ont pas d'impact sur les performances ; (2) les signes des poids feedback sont importants – plus les signes sont concordants entre les connexions feedforward et leurs correspondantes feedback, meilleures sont les performances ; (3) avec des poids feedback ayant des valeurs absolues aléatoires et une concordance totale des signes (100%), nous avons réussi à obtenir des performances équivalentes ou même supérieures à celles de l'algorithme de descente de gradient stochastique (SGD) ; (4) certaines normalisations/stabilisations sont indispensables pour que ce BP asymétrique fonctionne correctement, notamment la Normalisation par lots (BN) (Ioffe et Szegedy 2015) et/ou une règle de mise à jour « Manhattan par lots » (BM).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp