Normalisation par lots activée sur place pour une formation optimisée en mémoire des DNNs

Dans cette étude, nous présentons la Normalisation par Lots Activée sur Place (InPlace-ABN) - une nouvelle approche visant à réduire drastiquement l'empreinte mémoire d'entraînement des réseaux neuronaux profonds modernes de manière calculatoirement efficace. Notre solution remplace la succession habituellement utilisée de couches de Normalisation par Lots (BatchNorm) + Activation par une seule couche plugin, évitant ainsi des modifications invasives du cadre tout en offrant une applicabilité simple pour les frameworks de deep learning existants. Nous obtenons des économies de mémoire allant jusqu'à 50 % en supprimant les résultats intermédiaires et en récupérant les informations nécessaires lors du passage arrière grâce à l'inversion des résultats stockés lors du passage avant, avec une augmentation mineure (0,8-2 %) du temps de calcul. De plus, nous démontrons comment les approches de checkpointing fréquemment utilisées peuvent être rendues aussi efficaces sur le plan computationnel que l'InPlace-ABN. Dans nos expériences sur la classification d'images, nous montrons des résultats comparables à ceux des approches les plus avancées sur ImageNet-1k. Pour la tâche exigeante en mémoire qu'est la segmentation sémantique, nous rapportons des résultats pour COCO-Stuff, Cityscapes et Mapillary Vistas, obtenant de nouveaux résultats d'état de l'art pour ce dernier sans données d'entraînement supplémentaires mais dans un scénario mono-échelle et mono-modèle. Le code est disponible à l'adresse suivante : https://github.com/mapillary/inplace_abn .