Lernen von Identitätsabbildungen mit Residualgattern

Wir schlagen ein neues Schichtdesign vor, indem wir eine lineare Gating-Mechanismus zu den Shortcut-Verbindungen hinzufügen. Durch die Verwendung eines skalaren Parameters zur Steuerung jedes Gates bieten wir eine Möglichkeit, Identitätsabbildungen durch die Optimierung von nur einem Parameter zu erlernen. Wir basieren auf der Motivation hinter Residual Networks, bei denen eine Schicht umformuliert wird, um das Lernen von Identitätsabbildungen für den Optimierer weniger problematisch zu gestalten. Die Erweiterung führt lediglich einen zusätzlichen Parameter pro Schicht ein und ermöglicht eine einfachere Optimierung, indem sie die Degeneration in Identitätsabbildungen vereinfacht. Wir stellen ein neues Modell vor, das Gated Residual Network (Gated ResNet), welches entsteht, wenn man Residual Networks erweitert. Experimentelle Ergebnisse zeigen, dass die Erweiterung der Schichten eine bessere Optimierung, verbesserte Leistung und mehr Schichtunabhängigkeit bietet. Wir evaluieren unsere Methode anhand des MNIST-Datensatzes unter Verwendung voll verbundener Netze und können empirische Hinweise dafür liefern, dass unsere Erweiterung die Optimierung tiefer Modelle erleichtert und dass sie eine hohe Toleranz gegenüber der vollständigen Entfernung von Schichten bietet: Das Modell behält über 90 % seiner Leistungsfähigkeit, selbst nachdem die Hälfte seiner Schichten zufällig entfernt wurde. Zudem evaluieren wir unser Modell anhand der Datensätze CIFAR-10 und CIFAR-100 unter Verwendung von Wide Gated ResNets und erreichen Fehlerquoten von 3,65 % und 18,27 % beziehungsweise.