Identitätsabbildungen in tiefen Residualnetzwerken

Tiefe Residualse Netzwerke sind als eine Familie extrem tiefer Architekturen hervorgetreten, die überzeugende Genauigkeit und gute Konvergenzverhalten aufweisen. In dieser Arbeit analysieren wir die Propagationsformulierungen hinter den residuellen Bausteinen, die darauf hinweisen, dass Vorwärts- und Rückwärts-signale direkt von einem Block zu jedem anderen Block propagiert werden können, wenn Identitätsabbildungen als Skip-Verbindungen verwendet werden und nach der Addition eine Aktivierung durchgeführt wird. Eine Reihe von Abschleifversuchen untermauert die Bedeutung dieser Identitätsabbildungen. Dies motiviert uns, eine neue residuale Einheit vorzuschlagen, die das Training vereinfacht und die Generalisierung verbessert. Wir berichten verbesserte Ergebnisse mit einem 1001-Schicht-ResNet auf CIFAR-10 (4,62 % Fehler) und CIFAR-100 sowie mit einem 200-Schicht-ResNet auf ImageNet. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/KaimingHe/resnet-1k-layersAnmerkungen:- "Ablation experiments" wurde als "Abschleifversuche" übersetzt, was im Kontext der neuronalen Netze oft verwendet wird.- "Identity mappings" wurde als "Identitätsabbildungen" übersetzt.- Die Fehlerquote wurde in Kommaschreibweise angepasst, um dem deutschen Leser entgegenzukommen.- Die URL wurde unverändert belassen, da es sich um einen direkten Verweis handelt.