Sous-échantillonnage stochastique avec mise en pool moyenne

La régularisation des réseaux de neurones profonds est un enjeu majeur pour atteindre de meilleures performances de généralisation sans problèmes de surapprentissage. Bien que la méthode populaire du Dropout fournisse un effet de régularisation, elle entraîne des propriétés incohérentes dans la sortie, ce qui peut dégrader les performances des réseaux de neurones profonds. Dans cette étude, nous proposons un nouveau module appelé stochastic average pooling (SAP), qui intègre une stochasticité similaire à celle du Dropout dans le processus de pooling. Nous décrivons les propriétés du sous-échantillonnage stochastique et du pooling moyen et les exploitons pour concevoir un module exempt de tout problème d'incohérence. Le stochastic average pooling permet d'obtenir un effet de régularisation sans aucune dégradation potentielle des performances due au problème d'incohérence et peut facilement être intégré aux architectures existantes des réseaux de neurones profonds. Les expériences montrent que le remplacement du pooling moyen existant par le stochastic average pooling améliore constamment les résultats sur une variété de tâches, ensembles de données et modèles.