Wie wichtig ist Gewichtssymmetrie beim Rückwärtspropagieren?

Die Gradienten-Rückpropagation (BP) erfordert symmetrische Feedforward- und Feedbackverbindungen – die gleichen Gewichte müssen sowohl für den Vorwärts- als auch für den Rückwärtspass verwendet werden. Dieses „Gewichtstransportproblem“ (Grossberg 1987) wird als einer der Hauptgründe angesehen, die Zweifel an der biologischen Plausibilität von BP aufkommen lassen. Mit Hilfe von 15 verschiedenen Klassifikationsdatensätzen untersuchen wir systematisch, inwiefern BP tatsächlich von der Gewichtssymmetrie abhängt. In einer Studie, die sich überraschend ähnlich gestaltete wie die Demonstration von Lillicrap et al. (Lillicrap et al. 2014), aber orthogonale Ergebnisse lieferte, deuten unsere Experimente darauf hin, dass:(1) Die Größen der Feedbackgewichte für die Leistung irrelevant sind.(2) Die Vorzeichen der Feedbackgewichte relevant sind – je stärker die Übereinstimmung der Vorzeichen zwischen den Feedforward- und den entsprechenden Feedbackverbindungen, desto besser.(3) Bei zufälligen Größen und 100 % Übereinstimmung der Vorzeichen der Feedbackgewichte konnten wir eine gleichwertige oder sogar bessere Leistung als bei SGD erzielen.(4) Bestimmte Normalisierungen/Stabilisierungen sind unerlässlich, damit eine solche asymmetrische BP funktioniert, insbesondere Batch Normalization (BN) (Ioffe und Szegedy 2015) und/oder eine „Batch Manhattan“-Aktualisierungsregel (BM).