
ノイズ付き学生学習(Noisy Student Training)を提案する。これはラベル付きデータが豊富な状況下でも効果的な半教師あり学習手法であり、ImageNetにおいてトップ1精度88.4%を達成した。これは、35億枚の弱教師付きInstagram画像を用いる従来の最先端モデルよりも2.0%高い性能である。また、耐性テストセットにおいても、ImageNet-Aのトップ1精度を61.0%から83.7%へと向上させ、ImageNet-Cの平均劣化誤差を45.7から28.3へ、ImageNet-Pの平均反転率を27.8から12.2へと改善した。ノイズ付き学生学習は、自己学習(self-training)および知識蒸留(distillation)の概念を拡張したものであり、学生モデルを教師モデルと同等またはそれ以上のサイズにし、学習過程において学生モデルにノイズを加える点が特徴である。ImageNetにおいては、まずラベル付き画像上でEfficientNetモデルを訓練し、これを教師モデルとして用いて3億枚のラベルなし画像に対して仮ラベル(pseudo labels)を生成する。次に、ラベル付きデータと仮ラベル付きデータの組み合わせを用いて、より大きなEfficientNetを学生モデルとして訓練する。このプロセスを、学生モデルを再び教師モデルとして再利用する形で反復する。この際、学生モデルの学習中にドロップアウト、確率的深度(stochastic depth)、およびRandAugmentによるデータ拡張などのノイズを導入することで、学生モデルが教師モデルよりも優れた一般化性能を発揮するようにしている。モデルの公開は以下のリンクより行える:https://github.com/tensorflow/tpu/tree/master/models/official/efficientnetコードは以下のリポジトリから入手可能:https://github.com/google-research/noisystudent