Cartographie Résiduelle

La cartographie résiduelle est la relation correspondante sur la base de laquelle le réseau résiduel est construit. Sa forme courante est H(x) = F(x) + x, où F(x) est la fonction résiduelle.

Définitions associées

En statistiques mathématiques, les résidus représentent la différence entre les valeurs observées réelles et les valeurs ajustées, et contiennent des informations importantes sur le modèle.

Supposons que la cartographie cachée qui doit être apprise entre les couches soit H(x) et que la cartographie résiduelle soit F(x) = H(x) – x. Ensuite, la correspondance H(x) qui doit être apprise à l'origine est la fonction résiduelle F(x) + x, c'est-à-dire que le résidu est défini comme : résidu = sortie – entrée.

Cartographie résiduelle et réseaux

Le mappage résiduel est obtenu en ajoutant un mappage d'identité, c'est-à-dire en introduisant une connexion de raccourci entre la sortie et l'entrée en même temps, plutôt qu'en empilant simplement le réseau.

La fonction originale H(x) à apprendre est convertie en F(x) + x. Cela résout non seulement le problème de disparition du gradient dans le réseau, mais rend également le réseau très profond, construisant ainsi le réseau résiduel ResNet.