HyperAIHyperAI

Command Palette

Search for a command to run...

基于多分辨率卷积记忆的序列建模

Jiaxin Shi; Ke Alexander Wang; Emily B. Fox

摘要

高效捕捉序列数据源中对给定任务(如分类和生成建模)至关重要的长程模式是一个基本挑战。当前流行的方法在空间上权衡了全量枚举和比较的记忆负担(例如在 Transformer 模型中)、复杂序列依赖关系的计算负担(例如在递归神经网络中),以及具有许多或大滤波器的卷积网络的参数负担。我们从基于小波的多分辨率分析中汲取灵感,定义了一种新的序列建模构建模块,称为多分辨率层(MultiresLayer)。我们的模型的关键组件是多分辨率卷积,它能够捕捉输入序列中的多尺度趋势。我们的多分辨率卷积可以通过在整个稀疏因果卷积树中共享滤波器来实现。因此,它不仅具备卷积网络的计算优势,还具有小波分解的理论基础。我们的多分辨率层易于实现,需要显著较少的参数,并且对于长度为 NNN 的序列,其内存占用最多为 O(NlogN)\mathcal{O}(N\log N)O(NlogN)。然而,通过堆叠这些层,我们的模型在使用 CIFAR-10、ListOps 和 PTB-XL 数据集进行的一系列序列分类和自回归密度估计任务中达到了最先进的性能。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供