HyperAIHyperAI

Command Palette

Search for a command to run...

Identitätsabbildungen in tiefen Residualnetzwerken

Kaiming He Xiangyu Zhang Shaoqing Ren Jian Sun

Zusammenfassung

Tiefe Residualse Netzwerke sind als eine Familie extrem tiefer Architekturen hervorgetreten, die überzeugende Genauigkeit und gute Konvergenzverhalten aufweisen. In dieser Arbeit analysieren wir die Propagationsformulierungen hinter den residuellen Bausteinen, die darauf hinweisen, dass Vorwärts- und Rückwärts-signale direkt von einem Block zu jedem anderen Block propagiert werden können, wenn Identitätsabbildungen als Skip-Verbindungen verwendet werden und nach der Addition eine Aktivierung durchgeführt wird. Eine Reihe von Abschleifversuchen untermauert die Bedeutung dieser Identitätsabbildungen. Dies motiviert uns, eine neue residuale Einheit vorzuschlagen, die das Training vereinfacht und die Generalisierung verbessert. Wir berichten verbesserte Ergebnisse mit einem 1001-Schicht-ResNet auf CIFAR-10 (4,62 % Fehler) und CIFAR-100 sowie mit einem 200-Schicht-ResNet auf ImageNet. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/KaimingHe/resnet-1k-layersAnmerkungen:- "Ablation experiments" wurde als "Abschleifversuche" übersetzt, was im Kontext der neuronalen Netze oft verwendet wird.- "Identity mappings" wurde als "Identitätsabbildungen" übersetzt.- Die Fehlerquote wurde in Kommaschreibweise angepasst, um dem deutschen Leser entgegenzukommen.- Die URL wurde unverändert belassen, da es sich um einen direkten Verweis handelt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp