HyperAIHyperAI

Command Palette

Search for a command to run...

重新思考深度可分离卷积:核内相关性如何提升MobileNets性能

Daniel Haase Manuel Amthor

摘要

我们提出了一种名为蓝图可分卷积(Blueprint Separable Convolutions, BSConv)的高效卷积构建模块,适用于卷积神经网络(CNN)。该方法的提出基于对训练后模型中卷积核特性的定量分析,结果显示,沿深度维度的特征相关性占据主导地位。基于这一发现,我们建立了一套理论基础,并由此推导出仅使用标准网络层即可实现的高效实现方式。此外,我们的方法为深度可分离卷积(Depthwise Separable Convolutions, DSCs)在一般情况下的应用提供了全面的理论推导、解释与合理性论证。DSCs已成为众多现代网络架构的基础。我们进一步揭示:以MobileNets为代表的DSC架构,其性能在本质上依赖于跨卷积核之间的相关性;而我们的BSConv则基于卷积核内部的相关性,从而实现了对标准卷积更高效的分解。在大规模与细粒度分类数据集上的大量实验表明,BSConv在不引入额外复杂度的前提下,能够显著且一致地提升MobileNets及其他基于DSC的架构性能。在细粒度数据集上,性能提升最高可达13.7个百分点。此外,若将BSConv变体作为标准架构(如ResNets)的即插即用替代模块,其在ImageNet上的表现亦可比原始模型最高提升9.5个百分点。相关代码与模型已开源,详见:https://github.com/zeiss-microscopy/BSConv


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
重新思考深度可分离卷积:核内相关性如何提升MobileNets性能 | 论文 | HyperAI超神经