Residual Mapping ist die entsprechende Beziehung, auf deren Grundlage das Residualnetzwerk erstellt wird. Die übliche Form ist H(x) = F(x) + x, wobei F(x) die Residuenfunktion ist.

Verwandte Definitionen

In der mathematischen Statistik stellen Residuen die Differenz zwischen tatsächlich beobachteten Werten und angepassten Werten dar und enthalten wichtige Informationen über das Modell.

Angenommen, die verborgene Zuordnung, die zwischen den Schichten gelernt werden muss, ist H(x) und die Restzuordnung ist F(x) = H(x) – x. Dann ist die Abbildung H(x), die ursprünglich gelernt werden muss, die Residuenfunktion F(x) + x, d. h., das Residuum wird wie folgt definiert: Residuum = Ausgabe – Eingabe.

Residualmapping und Netzwerke

Die Residualzuordnung wird durch das Hinzufügen einer Identitätszuordnung erreicht, d. h. durch die Einführung einer Abkürzungsverbindung zwischen Ausgabe und Eingabe, anstatt das Netzwerk einfach zu stapeln.

Die ursprüngliche zu lernende Funktion H(x) wird in F(x) + x umgewandelt. Dies löst nicht nur das Problem des verschwindenden Gradienten im Netzwerk, sondern macht das Netzwerk auch sehr tief und konstruiert so das Restnetzwerk ResNet.