Self-Training mit Noisy Student verbessert die ImageNet-Klassifikation

Wir präsentieren Noisy Student Training, einen semi-supervised Lernansatz, der auch dann gut funktioniert, wenn gelabelte Daten reichlich vorhanden sind. Noisy Student Training erreicht eine Top-1-Accuracy von 88,4 % auf ImageNet – das entspricht einer Verbesserung um 2,0 Prozentpunkte gegenüber dem bisherigen Stand der Technik, welcher 3,5 Milliarden schwach gelabelte Instagram-Bilder erfordert. Auf Robustheitstestsets steigert sich die Top-1-Accuracy auf ImageNet-A von 61,0 % auf 83,7 %, der mittlere Korruptionsfehler auf ImageNet-C sinkt von 45,7 auf 28,3, und die mittlere Flip-Rate auf ImageNet-P verringert sich von 27,8 auf 12,2.Noisy Student Training erweitert das Konzept des Self-Training und der Distillation durch die Verwendung von Schülermodellen, die gleich groß oder größer als das Lehrermodell sind, sowie durch das Hinzufügen von Rauschen während des Lernprozesses. Auf ImageNet trainieren wir zunächst ein EfficientNet-Modell anhand gelabelter Bilder und nutzen es als Lehrermodell, um Pseudolabels für 300 Millionen unlabeled Bilder zu generieren. Anschließend trainieren wir ein größeres EfficientNet-Modell als Schülermodell auf der Kombination aus gelabelten und pseudolabelten Daten. Diesen Prozess wiederholen wir iterativ, indem wir den Schüler als neuen Lehrer verwenden. Während des Lernens des Schülers fügen wir dem Schüler Rauschen wie Dropout, stochastische Tiefe und Datenaugmentation mittels RandAugment hinzu, um sicherzustellen, dass der Schüler besser generalisiert als der Lehrer. Die Modelle sind unter https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet verfügbar. Der Quellcode ist unter https://github.com/google-research/noisystudent zugänglich.