バッチ正規化は、多くの画像分類モデルの中心的な構成要素であるが、バッチサイズに依存する性質やサンプル間の相互作用に起因する多くの望ましくない特性を有している。近年、正規化層を用いずに深層ResNetを学習する手法が報告されたが、これらのモデルは最良のバッチ正規化ネットワークと比較してテスト精度が劣っており、大きな学習率や強いデータ拡張を適用した場合に不安定になりがちである。本研究では、こうした不安定性を克服するための適応的勾配クリッピング技術を開発し、大幅に改善された「ノーマライザフリーResNet」の新クラスを設計した。我々の小型モデルは、ImageNet上でEfficientNet-B7と同等のテスト精度を達成しつつ、学習速度が最大8.7倍速い。また、最大規模のモデルでは、86.5%という新たなトップ1精度のSOTA（最先端）記録を達成した。さらに、3億枚のラベル付き画像から構成される大規模データセット上で事前学習した後、ImageNet上で微調整を行う場合、ノーマライザフリーモデルはバッチ正規化モデルと比較して顕著に優れた性能を発揮し、最良のモデルでは89.2%の精度を達成した。本研究のコードは、https://github.com/deepmind/deepmind-research/tree/master/nfnets にて公開されている。