一句话总结

南洋理工大学、挪威科技大学与HP Inc. 提出 TECO，一种多维剪枝框架，通过两阶段重要性评估（评估各维度内局部重要性及跨维度全局重要性）和启发式算法，协同剪枝卷积神经网络的深度、宽度及分辨率，以逐步优化嵌入式硬件上精度与效率的均衡。

核心贡献

• TECO 采用两阶段重要性评估框架：跨维度评估策略（ITES）评估深度、宽度、分辨率三个维度的全局冗余，而维度内评估策略（INES）对每个维度内的局部重要性进行排序。
• 一种启发式剪枝算法迭代应用 INES 与 ITES，逐步剪枝卷积神经网络的三个维度，以寻求精度与效率的最优折衷。
• 在 ImageNet 上，相近 MACs 下 TECO 的 top-1 准确率比 HRank 高 3.97%；在嵌入式硬件上，相比 GAL 实现 1.91× 加速，同时准确率提升 1.12%。

引言

现代深度卷积神经网络是众多应用的基础，但其数十亿次乘加运算使其在低延迟和数据隐私至关重要的边缘设备上难以承受。先前的剪枝技术通过消除单一维度（深度、宽度或输入分辨率）的冗余来压缩模型，但跨维度冗余未被触及，导致精度与效率的折衷次优。作者提出 TECO，一种多维剪枝框架，联合剪枝 CNN 的深度、宽度和分辨率。它引入跨维度评估策略，计算结合模型复杂度、准确率和推理延迟的全局重要性度量，以准确识别所有维度中的冗余单元，同时配合维度内评估策略快速缩小剪枝候选范围，实现启发式搜索，为资源受限的嵌入式设备寻找最优紧凑架构。

方法

作者提出 TECO，一种多维剪枝框架，旨在通过平衡准确率与执行效率来优化 CNN 模型。TECO 的整体架构如框架图所示。

给定基线 CNN 模型 $\mathcal{N}$N，该方法通过称为启发式架构下降的迭代过程运作。在每次迭代中，作者首先使用 INES 快速评估每个维度（深度、宽度、分辨率）内每个单元的局部重要性。基于这些局部重要性分数，从每个维度中选出最不重要的单元以供进一步分析。注意，分辨率维度跳过维度内评估。

随后，这些选出的单元进入 ITES。在此阶段，不同粒度的单元根据其全局重要性分数进行公平比较。全局重要性分数最低的单元随后被安全地剪枝。剪枝步骤之后，模型在训练数据集 $D_t$Dt​ 上使用 SGD 优化器以 1e-4 学习率微调一个 epoch，以恢复准确率，为下一次迭代做准备。

这一 INES 与 ITES 的循环迭代执行 $n$n 次，逐步剪枝 CNN 模型的三个维度。迭代次数 $n$n 由目标资源预算决定，预算越小，所需的 $n$n 越大。实践中，通常 10 次迭代足以获得紧凑模型 $\mathcal{N}_p$Np​。最后，完全剪枝后的模型从头训练以达到最终准确率。与直接搜索庞大设计空间的全局搜索算法相比，这种启发式方法显著降低了探索开销。

实验

实验评估了所提出的多维剪枝框架 TECO，该框架结合跨维度（ITES）和维度内（INES）重要性评估，联合剪枝网络的深度、宽度和分辨率。在 ImageNet 和 CIFAR-10 上进行评估，并在 Jetson Nano、TX2 和 AGX Xavier 上测量设备端延迟，TECO 在准确率和延迟折衷方面始终优于最先进方法。消融研究证实，INES 与 ITES 的协同策略减少了超过 83% 的剪枝成本，同时保持了性能，可解释性分析显示 TECO 捕捉完整前景物体以实现更准确的预测。总体而言，该方法有效减少了跨维度冗余，提升了边缘设备上的准确率和推理效率。

联合优化深度、宽度和分辨率的多维剪枝在 ImageNet 上使用 ResNet50 时优于最先进的单维度方法，通过识别所有三个维度的冗余，实现了更好的准确率和效率。该方法同时剪枝网络的深度、宽度和分辨率，而非聚焦于单一维度。维度内评估（INES）和跨维度评估（ITES）迭代使用，以选择最冗余的组件，提升最终模型准确率。与单维度剪枝方法相比，所提出的多维策略利用完整前景物体进行预测，从而产生更准确和鲁棒的特征。

在 CIFAR-10 上，TECO-Tiny 在所有剪枝后的 ResNet110 变体中准确率最高，同时在 Jetson Nano 上推理延迟最低。与基线相比，它减少了 57% 的 MACs，但准确率提升了 0.44 个百分点，显示出有效移除冗余和缓解过拟合的能力。该方法提供了比先前剪枝方法更好的延迟-准确率折衷，延迟低于 HRank-2 且准确率更高。TECO-Tiny 的 top-1 准确率达到 93.94%，为所有剪枝模型最高，同时推理延迟降至 2.94 ms，为报告的最低值。相对于基线 ResNet110，它减少了 57% 的 MACs，且准确率仍提升 0.44 个百分点。

从多维剪枝中移除 INES 和 ITES 评估策略导致准确率与单维度方法相当，没有优势。单独使用 ITES 可获得最佳准确率和资源节省，但剪枝成本极高，而结合 INES 和 ITES 则大幅降低该成本，同时保持有竞争力的性能。没有 INES 和 ITES 时，多维剪枝仅达到 74.67% 准确率，与仅宽度剪枝（74.65%）相近，表明相比单维度剪枝没有有意义的增益。单独使用 ITES 产生最高的准确率（75.71%）和最低的 MACs（2.12B）及延迟（6.42 ms），但剪枝成本为 179.42 小时，不切实际。结合 INES 和 ITES 相比单独使用 ITES 减少了 83.21% 的剪枝成本，同时保持了良好的准确率和效率，展示了框架的实用价值。

在 ImageNet 上使用 ResNet50 和在 CIFAR-10 上使用 ResNet110 的评估表明，联合优化深度、宽度和分辨率的多维剪枝优于单维度方法，获得更高的准确率和更低的推理延迟。CIFAR-10 上的 TECO-Tiny 变体在剪枝后的 ResNet110 模型中实现了最佳准确率和最快延迟，确认了有效的冗余移除。消融研究揭示，维度内和跨维度评估策略（INES 和 ITES）至关重要；单独使用 ITES 提供了最高的准确率和效率，但带来了难以承受的剪枝成本，而它们的组合则大幅降低了该成本并保持了强大的性能，验证了框架的实用价值。