Verbesserte Regularisierung von Faltungsneuralnetzen durch Cutout

Faltungsschichtneuronale Netze (Convolutional Neural Networks) sind in der Lage, leistungsfähige repräsentative Räume zu erlernen, die für die Bewältigung komplexer Lernaufgaben notwendig sind. Aufgrund der Modellkapazität, die erforderlich ist, um solche Repräsentationen zu erfassen, sind sie jedoch oft anfällig für Überanpassung (Overfitting) und benötigen daher eine angemessene Regularisierung, um gut generalisieren zu können. In dieser Arbeit zeigen wir, dass die einfache Regularisierungstechnik des zufälligen Ausblendens quadratischer Bereiche des Eingabebildes während des Trainings, die wir Cutout nennen, verwendet werden kann, um die Robustheit und die Gesamtleistung von Faltungsschichtneuronalen Netzen zu verbessern. Diese Methode ist nicht nur extrem einfach umzusetzen, sondern wir demonstrieren auch, dass sie in Kombination mit bestehenden Formen der Datenverstärkung (Data Augmentation) und anderen Regularisierungsverfahren zur weiteren Verbesserung der Modelleistung eingesetzt werden kann. Wir evaluieren diese Methode durch ihre Anwendung auf aktuelle state-of-the-art Architekturen auf den Datensätzen CIFAR-10, CIFAR-100 und SVHN, wobei wir neue state-of-the-art Ergebnisse von 2,56 %, 15,20 % und 1,30 % Testfehler erreichen. Der Quellcode ist unter https://github.com/uoguelph-mlrg/Cutout verfügbar.