Wir stellen einen plug-in-ersetzten Ansatz für die Batch-Normalisierung (BN), namens exponentielle gleitende Durchschnittsnormalisierung (EMAN), vor, der die Leistung bestehender student-teacher-basierter selbst- und halbüberwachter Lernverfahren verbessert. Im Gegensatz zur herkömmlichen BN, bei der die Statistiken innerhalb jeder Batch berechnet werden, aktualisiert EMAN – im Lehrer eingesetzt – seine Statistiken mittels exponentiellen gleitenden Durchschnitts aus den BN-Statistiken des Schülers. Diese Architektur verringert die inhärente Abhängigkeit zwischen verschiedenen Samples in der BN und verbessert die Generalisierungsfähigkeit des Lehrers. EMAN steigert starke Baseline-Verfahren für selbstüberwachtes Lernen um 4–6 bzw. 1–2 Punkte und halbüberwachtes Lernen um etwa 7 bzw. 2 Punkte, wenn jeweils 1 % bzw. 10 % überwachte Labels auf ImageNet verfügbar sind. Diese Verbesserungen sind konsistent über verschiedene Methoden, Netzwerkarchitekturen, Trainingsdauern und Datensätze hinweg und belegen die allgemeine Wirksamkeit dieser Technik. Der Quellcode ist unter https://github.com/amazon-research/exponential-moving-average-normalization verfügbar.