Interpolationskonsistenztraining für semisupervises Lernen

Wir stellen Interpolation Consistency Training (ICT) vor, einen einfachen und rechenintensiv effizienten Algorithmus zur Ausbildung von Tiefen Neuronalen Netzen im Paradigma des semisupervisierten Lernens. ICT fördert die Konsistenz der Vorhersage an Interpolationspunkten von nicht gekennzeichneten Daten mit der Interpolation der Vorhersagen an diesen Punkten. Bei Klassifikationsproblemen verschiebt ICT die Entscheidungsgrenze in Regionen niedriger Dichte der Datenverteilung. Unsere Experimente zeigen, dass ICT den Stand der Technik erreicht, wenn es auf standardisierte neuronale Netzarchitekturen bei den Benchmark-Datensätzen CIFAR-10 und SVHN angewendet wird. Unsere theoretische Analyse ergibt, dass ICT einer bestimmten Art von datenadaptiver Regularisierung mit nicht gekennzeichneten Punkten entspricht, die das Überanpassen an gekennzeichnete Punkte unter hohen Konfidenzwerten reduziert.