HyperAIHyperAI

Command Palette

Search for a command to run...

基于偏微分算子的等变卷积(PDO-eConvs)

Zhengyang Shen; Lingshen He; Zhouchen Lin; Jinwen Ma

摘要

最近的研究表明,在神经网络架构中引入等变性(equivariance)是非常有益的,已有若干研究探讨了网络在群作用下的等变性。然而,由于数字图像和特征图位于离散网格上,相应的等变性保持变换群非常有限。在这项工作中,我们从卷积与偏微分算子(PDOs)之间的联系出发来解决这一问题。理论上,假设输入是平滑的,我们将偏微分算子进行变换,并提出一个对更为广泛的连续群——nnn维欧几里得群——具有等变性的系统。在实现过程中,我们利用偏微分算子的数值方案对系统进行离散化,从而推导出近似等变卷积(PDO-eConvs)。理论上,PDO-eConvs的近似误差为二次阶。这是首次在等变性近似的情况下提供了误差分析。大量的实验结果表明,在旋转MNIST数据集和自然图像分类任务中,PDO-eConvs表现出竞争力的同时参数使用效率更高。特别是与Wide ResNets相比,我们的方法仅使用12.6%的参数就取得了更好的结果。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供