HyperAIHyperAI

Command Palette

Search for a command to run...

Wie wichtig ist Gewichtssymmetrie beim Rückwärtspropagieren?

Qianli Liao Joel Z. Leibo Tomaso Poggio

Zusammenfassung

Die Gradienten-Rückpropagation (BP) erfordert symmetrische Feedforward- und Feedbackverbindungen – die gleichen Gewichte müssen sowohl für den Vorwärts- als auch für den Rückwärtspass verwendet werden. Dieses „Gewichtstransportproblem“ (Grossberg 1987) wird als einer der Hauptgründe angesehen, die Zweifel an der biologischen Plausibilität von BP aufkommen lassen. Mit Hilfe von 15 verschiedenen Klassifikationsdatensätzen untersuchen wir systematisch, inwiefern BP tatsächlich von der Gewichtssymmetrie abhängt. In einer Studie, die sich überraschend ähnlich gestaltete wie die Demonstration von Lillicrap et al. (Lillicrap et al. 2014), aber orthogonale Ergebnisse lieferte, deuten unsere Experimente darauf hin, dass:(1) Die Größen der Feedbackgewichte für die Leistung irrelevant sind.(2) Die Vorzeichen der Feedbackgewichte relevant sind – je stärker die Übereinstimmung der Vorzeichen zwischen den Feedforward- und den entsprechenden Feedbackverbindungen, desto besser.(3) Bei zufälligen Größen und 100 % Übereinstimmung der Vorzeichen der Feedbackgewichte konnten wir eine gleichwertige oder sogar bessere Leistung als bei SGD erzielen.(4) Bestimmte Normalisierungen/Stabilisierungen sind unerlässlich, damit eine solche asymmetrische BP funktioniert, insbesondere Batch Normalization (BN) (Ioffe und Szegedy 2015) und/oder eine „Batch Manhattan“-Aktualisierungsregel (BM).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp