7 天前

ResNet强势回归:timm中的改进训练流程

Ross Wightman, Hugo Touvron, Hervé Jégou
ResNet强势回归:timm中的改进训练流程
摘要

由何恺明等人提出的具有重要影响力的残差网络(Residual Networks, ResNet)至今仍是众多科研论文中的黄金标准架构。这类网络通常作为研究中的默认架构,或在提出新型网络结构时作为基准模型。然而,自2015年ResNet架构问世以来,神经网络训练的最佳实践已取得显著进展。新型优化方法与数据增强技术显著提升了训练方案的有效性。本文重新评估了在融合这些最新进展的训练流程下,原始ResNet-50模型的性能表现。我们将在开源库timm中分享具有竞争力的训练配置及预训练模型,期望这些资源能为未来的研究提供更优的基准参考。例如,在我们更为严格的训练设置下,未经额外数据或知识蒸馏的原始ResNet-50模型在ImageNet验证集上以224×224分辨率达到了80.4%的Top-1准确率。此外,我们还报告了在该训练流程下,多种主流模型所取得的性能表现。

ResNet强势回归:timm中的改进训练流程 | 最新论文 | HyperAI超神经