HyperAIHyperAI

Command Palette

Search for a command to run...

Réseau en réseau avec normalisation par lots et Maxout

Jia-Ren Chang Yong-Sheng Chen

Résumé

Ce rapport présente une nouvelle architecture profonde appelée Maxout Network In Network (MIN), capable d'améliorer la discernabilité du modèle et de faciliter le processus d'abstraction des informations au sein du champ récepteur. Le réseau proposé adopte le cadre de la structure Network In Network récemment développée, qui fait glisser un approximateur universel, à savoir un perceptron multicouche (MLP) avec unités rectificatrices, pour extraire des caractéristiques. À la place de l'MLP traditionnel, nous utilisons un MLP maxout pour apprendre une variété de fonctions d'activation linéaires par morceaux et pour atténuer le problème des gradients disparaissants qui peut survenir lors de l'utilisation d'unités rectificatrices. De plus, la normalisation par lots est appliquée pour réduire la saturation des unités maxout en préconditionnant le modèle, tandis que la technique du dropout est utilisée pour éviter le surapprentissage. Enfin, le regroupement moyen est utilisé dans toutes les couches de regroupement afin de régulariser le MLP maxout, ce qui permet de faciliter l'abstraction des informations dans chaque champ récepteur tout en tolérant les changements de position des objets. Étant donné que le regroupement moyen conserve toutes les caractéristiques dans le patch local, le modèle MIN proposé peut imposer la suppression des informations non pertinentes pendant l'apprentissage. Nos expériences ont démontré des performances de classification de pointe lorsque le modèle MIN a été appliqué aux jeux de données MNIST, CIFAR-10 et CIFAR-100, ainsi que des performances comparables sur le jeu de données SVHN.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Réseau en réseau avec normalisation par lots et Maxout | Articles | HyperAI