Das Residualnetzwerk „ResNet“ basiert auf einem einfachen Netzwerk und wandelt dieses durch Einfügen von Shortcut-Links in eine entsprechende Residualversion um. Es passt nicht direkt zum Ziel, sondern zum Residuum.

Die Grundidee von ResNet besteht darin, das Konzept der „Verknüpfung“ einzuführen, um die Optimierung zu vereinfachen. Ein mehrschichtiges Netzwerk, das eine „Abkürzungsverbindung“ enthält, wird als Restblock bezeichnet (Abkürzungsverbindung, d. h. der Pfeil von x nach ⨁ auf der rechten Seite der Abbildung).

Wenn das ursprüngliche Modell nach Parametern im Raum der Funktion F(x) sucht, dann sucht das Restnetzwerk nach Parametern im Raum von x + f(x).

Entwurfsregeln für das Restnetzwerk:

Für die Residualnetzwerk-Ontologie gibt es zwei Hauptpunkte:

• Faltungskerne mit demselben Maßstab und derselben Anzahl von Merkmalskarten;
• Die Anzahl der Feature-Maps verdoppelt sich, während die Größe der Feature-Maps halbiert wird.

Für Quicklinks gibt es zwei Lösungen:

• Füllen Sie die Bereiche mit Nullen auf, um die Dimension zu vergrößern.
• Verwenden Sie die Schnellprojektion.

Vorteile von Residualnetzwerken:

• Leicht zu trainieren
• Lineares vertiefbares Netzwerk
• Kann umgepflanzt werden
• Kann eine Genauigkeit von 1000 Schichten erreichen
• Das Problem des Gradientenverschwindens kann durch umgekehrte Aktualisierung gelöst werden

Anwendung des Restnetzwerks:

Visuelle Erkennung, Bildgenerierung, Verarbeitung natürlicher Sprache, Spracherkennung, Werbung, Benutzervorhersage