Command Palette
Search for a command to run...
Amélioration des réseaux de neurones profonds avec des unités maxout probabilistes
Amélioration des réseaux de neurones profonds avec des unités maxout probabilistes
Jost Tobias Springenberg Martin Riedmiller
Résumé
Nous présentons une variante probabiliste de l'unité maxout récemment introduite. Le succès des réseaux neuronaux profonds utilisant les unités maxout peut en partie être attribué à leur bonne performance sous dropout, par rapport aux unités linéaires rectifiées. Cependant, il dépend également du fait que chaque unité maxout effectue une opération de pooling sur un groupe de transformations linéaires et est donc partiellement invariante aux modifications de son entrée. Partant de cette observation, nous nous posons la question : Les propriétés souhaitables des unités maxout peuvent-elles être préservées tout en améliorant leurs propriétés d'invariance ? Nous soutenons que nos unités maxout probabilistes (probout) réussissent à atteindre cet équilibre. Nous vérifions quantitativement cette affirmation et rapportons des performances de classification égales ou supérieures à l'état actuel de l'art sur trois benchmarks difficiles de classification d'images (CIFAR-10, CIFAR-100 et SVHN).