Command Palette
Search for a command to run...
MobileNetV4 — 面向移动生态系统的通用模型
MobileNetV4 — 面向移动生态系统的通用模型
摘要
我们提出了最新一代MobileNets——MobileNetV4(MNv4),其专为移动设备设计了通用高效的架构。核心创新在于引入了通用倒置瓶颈(Universal Inverted Bottleneck, UIB)搜索模块,这是一种统一且灵活的结构,融合了倒置瓶颈(Inverted Bottleneck, IB)、ConvNeXt、前馈网络(Feed-Forward Network, FFN)以及一种新型的深度可分离卷积变体——额外深度可分离卷积(Extra Depthwise, ExtraDW)。 与此同时,我们提出了专为移动加速器优化的Mobile MQA注意力模块,在保持高性能的同时实现了高达39%的推理速度提升。此外,我们还设计了一套优化的神经架构搜索(Neural Architecture Search, NAS)方法,显著提升了MobileNetV4的搜索效率与质量。 通过将UIB、Mobile MQA与优化后的NAS策略相结合,我们构建了一套全新的MNv4模型系列,其在移动CPU、DSP、GPU,以及专用加速器(如Apple Neural Engine和Google Pixel EdgeTPU)上均表现出接近帕累托最优(Pareto optimal)的性能表现——这一特性在当前测试的其他模型中尚属首次。 为进一步提升模型精度,我们提出了一种新颖的蒸馏技术。在该技术的加持下,我们的MNv4-Hybrid-Large模型在ImageNet-1K数据集上达到了87%的准确率,且在Pixel 8 EdgeTPU上的运行时间仅为3.8毫秒,充分体现了其在精度与效率之间的卓越平衡。