Virtuelles adversariales Training: Eine Regularisierungsmethode für überwachtes und semüberwachtes Lernen

Wir schlagen eine neue Regularisierungsmethode vor, die auf dem virtuellen adversären Verlust basiert: einer neuen Maßeinheit für die lokale Glattheit der bedingten Labelverteilung bei gegebener Eingabe. Der virtuelle adversäre Verlust ist definiert als die Robustheit der bedingten Labelverteilung um jeden Eingabedatensatz gegen lokale Störungen. Im Gegensatz zum adversären Training definiert unsere Methode die adversäre Richtung ohne Labelinformation und ist daher für das semisupervisierte Lernen anwendbar. Da die Richtungen, in denen wir das Modell glätten, nur „virtuell“ adversär sind, nennen wir unsere Methode virtuelles adversäres Training (VAT). Die Rechenkosten des VAT sind relativ gering. Für neuronale Netze kann der approximierte Gradient des virtuellen adversären Verlusts mit nicht mehr als zwei Paaren von Vorwärts- und Rückwärtspropagation berechnet werden. In unseren Experimenten haben wir VAT auf supervisierte und semisupervisierte Lernaufgaben an mehreren Benchmark-Datensätzen angewendet. Mit einer einfachen Erweiterung des Algorithmus basierend auf dem Prinzip der Entropie-Minimierung erreicht unser VAT den Stand der Technik für semisupervisierte Lernaufgaben auf SVHN und CIFAR-10.