HyperAIHyperAI

Command Palette

Search for a command to run...

一种适用于所有领域的胶囊路由算法

Franz A. Heinsen

摘要

在近期胶囊网络研究的基础上,我们提出了一种新型、通用的“基于共识的路由”机制,该机制根据输出胶囊对前层输入胶囊的净收益与忽略它们的净成本,动态激活某一层中的输出胶囊。为展示该路由算法的有效性,我们构建了两个应用于不同领域的胶囊网络:视觉与自然语言处理。第一个网络在smallNORB视觉识别任务上取得了99.1%的新最优准确率,参数量更少,且训练量较以往胶囊模型减少一个数量级,我们还发现该模型具备学习“逆向图形”(reverse graphics)能力的证据。第二个网络在斯坦福情感树库(Stanford Sentiment Treebank)的句子根节点分类任务上也达到了新的最优性能:细粒度标签准确率达58.5%,二分类标签准确率达95.6%,其采用单任务模型,将预训练Transformer的冻结嵌入表示作为胶囊进行路由。在两个领域中,我们均采用相同的训练策略。代码已开源,地址为 https://github.com/glassroom/heinsen_routing,并附有完整的复现说明


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供