À Quelle Importance la Symétrie des Poids dans la Rétropropagation ?

La rétropropagation du gradient (BP) nécessite des connexions feedforward et feedback symétriques – les mêmes poids doivent être utilisés pour les passes avant et arrière. Ce problème de transport des poids (Grossberg 1987) est considéré comme l'une des principales raisons de douter de la plausibilité biologique de BP. En utilisant 15 ensembles de données différents pour la classification, nous avons systématiquement enquêté sur la dépendance réelle de BP à la symétrie des poids. Notre étude, qui s'est avérée surprenamment similaire en esprit à celle présentée par Lillicrap et al. (Lillicrap et al. 2014), mais orthogonale dans ses résultats, indique que : (1) les valeurs absolues des poids feedback n'ont pas d'impact sur les performances ; (2) les signes des poids feedback sont importants – plus les signes sont concordants entre les connexions feedforward et leurs correspondantes feedback, meilleures sont les performances ; (3) avec des poids feedback ayant des valeurs absolues aléatoires et une concordance totale des signes (100%), nous avons réussi à obtenir des performances équivalentes ou même supérieures à celles de l'algorithme de descente de gradient stochastique (SGD) ; (4) certaines normalisations/stabilisations sont indispensables pour que ce BP asymétrique fonctionne correctement, notamment la Normalisation par lots (BN) (Ioffe et Szegedy 2015) et/ou une règle de mise à jour « Manhattan par lots » (BM).