HyperAIHyperAI

Command Palette

Search for a command to run...

反向传播中权重对称性的重要性

Qianli Liao Joel Z. Leibo Tomaso Poggio

摘要

梯度反向传播(BP)需要对称的前馈和反馈连接——即前向和后向传递必须使用相同的权重。这一“权重传输问题”(Grossberg 1987)被认为是质疑BP生物合理性的主要原因之一。我们使用了15个不同的分类数据集,系统地研究了BP在多大程度上依赖于权重对称性。我们的研究在精神上与Lillicrap等人(Lillicrap et al. 2014)的演示惊人地相似,但在结果上是正交的。实验结果表明:(1) 反馈权重的大小对性能没有影响;(2) 反馈权重的符号很重要——前馈和对应的反馈连接之间的符号一致性越高,性能越好;(3) 当反馈权重具有随机大小且符号一致性为100%时,我们能够实现与SGD相同甚至更好的性能;(4) 某些归一化/稳定化方法对于这种非对称BP的有效运行是不可或缺的,特别是批量归一化(BN)(Ioffe和Szegedy 2015)和/或“批量曼哈顿”(BM)更新规则。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供