Réseau Résiduel
Le réseau résiduel « ResNet » est basé sur un réseau simple et le convertit en une version résiduelle correspondante en insérant des liens de raccourci. Il ne correspond pas directement à la cible, mais correspond au résidu.
L'idée de base de ResNet est d'introduire le concept de « connexion raccourcie » pour faciliter l'optimisation. Un réseau multicouche contenant une « connexion raccourcie » est appelé bloc résiduel (connexion raccourcie, c'est-à-dire la flèche de x à ⨁ sur le côté droit de la figure).
Si le modèle original recherche des paramètres dans l'espace de la fonction F(x), alors le réseau résiduel recherche des paramètres dans l'espace de x + f(x).
Règles de conception du réseau résiduel :
Pour l'ontologie du réseau résiduel, il y a deux points principaux :
- Noyaux de convolution avec la même échelle et le même numéro de carte de caractéristiques ;
- Le nombre de cartes de caractéristiques double tandis que la taille des cartes de caractéristiques est divisée par deux.
Il existe deux solutions pour les liens rapides :
- Remplissez avec des 0 autour pour augmenter la dimension ;
- Utiliser la projection rapide.
Avantages des réseaux résiduels :
- Facile à former
- Réseau linéaire approfondissable
- Peut être transplanté
- Peut atteindre 1000 couches de précision
- Le problème de la disparition du gradient peut être résolu par une mise à jour inverse
Application du réseau résiduel :
Reconnaissance visuelle, génération d'images, traitement du langage naturel, reconnaissance vocale, publicité, prédiction utilisateur