In-Place aktiviertes BatchNorm für speicheroptimiertes Training von DNNs

In dieser Arbeit stellen wir die In-Place Aktivierte Batch Normalisierung (InPlace-ABN) vor – einen neuen Ansatz, um den Trainings-Speicherbedarf moderner tiefer neuronaler Netze auf computationally effiziente Weise drastisch zu reduzieren. Unsere Lösung ersetzt die übliche Kombination aus BatchNorm- und Aktivierungsschichten durch eine einzelne Plugin-Schicht, wodurch invasive Änderungen des Frameworks vermieden werden und eine einfache Anwendbarkeit für bestehende Deep-Learning-Frameworks gewährleistet ist. Durch das Weglassen von Zwischenergebnissen und die Wiederherstellung der erforderlichen Informationen während des Rückpropagationsprozesses durch die Inversion gespeicherter Vorwärtsdurchläufe erreichen wir Spechersparnis von bis zu 50%, mit nur geringem Aufwand an zusätzlicher Rechenzeit (0,8-2 %). Zudem zeigen wir, wie häufig verwendete Checkpointing-Methoden so effizient gemacht werden können wie InPlace-ABN. In unseren Experimenten zur Bildklassifizierung erzielen wir vergleichbare Ergebnisse auf ImageNet-1k mit den neuesten Ansätzen. Bei der speicheraufwändigen Aufgabe der semantischen Segmentierung berichten wir über Ergebnisse für COCO-Stuff, Cityscapes und Mapillary Vistas, wobei wir bei letzterem neue Stand-von-der-Kunst-Ergebnisse ohne zusätzliche Trainingsdaten in einem Single-Scale und Single-Model Szenario erzielen. Der Quellcode ist unter https://github.com/mapillary/inplace_abn verfügbar.