HyperAIHyperAI

Command Palette

Search for a command to run...

Sous-échantillonnage stochastique avec mise en pool moyenne

Bum Jun Kim Sang Woo Kim

Résumé

La régularisation des réseaux de neurones profonds est un enjeu majeur pour atteindre de meilleures performances de généralisation sans problèmes de surapprentissage. Bien que la méthode populaire du Dropout fournisse un effet de régularisation, elle entraîne des propriétés incohérentes dans la sortie, ce qui peut dégrader les performances des réseaux de neurones profonds. Dans cette étude, nous proposons un nouveau module appelé stochastic average pooling (SAP), qui intègre une stochasticité similaire à celle du Dropout dans le processus de pooling. Nous décrivons les propriétés du sous-échantillonnage stochastique et du pooling moyen et les exploitons pour concevoir un module exempt de tout problème d'incohérence. Le stochastic average pooling permet d'obtenir un effet de régularisation sans aucune dégradation potentielle des performances due au problème d'incohérence et peut facilement être intégré aux architectures existantes des réseaux de neurones profonds. Les expériences montrent que le remplacement du pooling moyen existant par le stochastic average pooling améliore constamment les résultats sur une variété de tâches, ensembles de données et modèles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp