HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen von Identitätsabbildungen mit Residualgattern

Pedro H. P. Savarese; Leonardo O. Mazza; Daniel R. Figueiredo

Zusammenfassung

Wir schlagen ein neues Schichtdesign vor, indem wir eine lineare Gating-Mechanismus zu den Shortcut-Verbindungen hinzufügen. Durch die Verwendung eines skalaren Parameters zur Steuerung jedes Gates bieten wir eine Möglichkeit, Identitätsabbildungen durch die Optimierung von nur einem Parameter zu erlernen. Wir basieren auf der Motivation hinter Residual Networks, bei denen eine Schicht umformuliert wird, um das Lernen von Identitätsabbildungen für den Optimierer weniger problematisch zu gestalten. Die Erweiterung führt lediglich einen zusätzlichen Parameter pro Schicht ein und ermöglicht eine einfachere Optimierung, indem sie die Degeneration in Identitätsabbildungen vereinfacht. Wir stellen ein neues Modell vor, das Gated Residual Network (Gated ResNet), welches entsteht, wenn man Residual Networks erweitert. Experimentelle Ergebnisse zeigen, dass die Erweiterung der Schichten eine bessere Optimierung, verbesserte Leistung und mehr Schichtunabhängigkeit bietet. Wir evaluieren unsere Methode anhand des MNIST-Datensatzes unter Verwendung voll verbundener Netze und können empirische Hinweise dafür liefern, dass unsere Erweiterung die Optimierung tiefer Modelle erleichtert und dass sie eine hohe Toleranz gegenüber der vollständigen Entfernung von Schichten bietet: Das Modell behält über 90 % seiner Leistungsfähigkeit, selbst nachdem die Hälfte seiner Schichten zufällig entfernt wurde. Zudem evaluieren wir unser Modell anhand der Datensätze CIFAR-10 und CIFAR-100 unter Verwendung von Wide Gated ResNets und erreichen Fehlerquoten von 3,65 % und 18,27 % beziehungsweise.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp