HyperAIHyperAI

Command Palette

Search for a command to run...

切片递归神经网络

Zeping Yu; Gongshen Liu

摘要

循环神经网络在许多自然语言处理任务中取得了显著的成功。然而,由于其递归结构,循环神经网络在并行化方面存在困难,因此训练RNN需要大量时间。本文介绍了切片循环神经网络(SRNN),通过将序列切分为多个子序列,SRNN可以实现并行化。SRNN能够在增加少量额外参数的情况下,通过多层结构获取高层次的信息。我们证明了当使用线性激活函数时,标准RNN是SRNN的一个特例。在不改变递归单元的前提下,SRNN的训练速度比标准RNN快136倍,并且在训练更长的序列时,其速度可能会更快。我们在六个大规模情感分析数据集上进行的实验表明,SRNN的性能优于标准RNN。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供