초록
기울기 역전파(Backpropagation, BP)는 대칭적인 순방향 및 역방향 연결을 필요로 합니다. 즉, 순방향과 역방향 통과 시 동일한 가중치를 사용해야 합니다. 이 "가중치 전송 문제"(Weight Transport Problem, Grossberg 1987)는 BP의 생물학적 타당성을 의심하는 주요 이유 중 하나로 여겨지고 있습니다. 우리는 15개의 다른 분류 데이터셋을 사용하여 BP가 실제로 얼마나 가중치 대칭에 의존하는지 체계적으로 조사하였습니다. 이 연구는 Lillicrap 등(Lillicrap et al. 2014)이 보여준 결과와 정신적으로 놀라울 정도로 유사하지만, 결과는 서로 독립적이었습니다. 우리의 실험은 다음과 같은 점들을 시사합니다: (1) 역방향 가중치의 크기는 성능에 영향을 미치지 않습니다 (2) 역방향 가중치의 부호는 중요합니다 — 순방향과 해당 역방향 연결 간의 일치된 부호가 많을수록 성능이 더 좋습니다 (3) 무작위 크기를 갖는 역방향 가중치와 100% 일치된 부호를 사용할 때, 우리는 SGD보다 같은 또는 더 나은 성능을 달성할 수 있었습니다 (4) 이러한 비대칭 BP가 작동하기 위해서는 일부 정규화/안정화 기법이 필수적입니다. 예를 들어 배치 정규화(Batch Normalization, BN)(Ioffe and Szegedy 2015) 및/또는 "배치 맨하탄"(Batch Manhattan, BM) 업데이트 규칙이 필요합니다.