Residuelle Netzwerke von residuellen Netzwerken: Mehrstufige residuelle Netzwerke

Eine Familie von Residual-Netzwerken mit Hunderten oder sogar Tausenden von Schichten dominiert wichtige Aufgaben der Bilderkennung, aber das einfache Stapeln von Residual-Blöcken begrenzt unweigerlich deren Optimierungsfähigkeit. In dieser Arbeit wird eine neuartige Architektur von Residual-Netzwerken vorgeschlagen, die als Residual Networks of Residual Networks (RoR) bezeichnet wird, um die Optimierungsfähigkeit von Residual-Netzwerken zu verbessern. RoR ersetzt die Optimierung der Residualabbildung durch die Optimierung der Residualabbildung der Residualabbildung. Insbesondere fügt RoR auf den ursprünglichen Residual-Netzwerken stufenweise Abkürzungszusammenhänge hinzu, um die Lernfähigkeit der Residual-Netzwerke zu fördern. Noch wichtiger ist, dass RoR auf verschiedene Arten von Residual-Netzwerken (ResNets, Pre-ResNets und WRN) angewendet werden kann und ihre Leistung erheblich steigert. Unsere Experimente zeigen die Effektivität und Vielseitigkeit von RoR, wobei es in allen resnetähnlichen Strukturen die beste Leistung erzielt. Unsere RoR-3-WRN58-4+SD Modelle erreichen neue Stand-of-the-Art-Ergebnisse auf CIFAR-10, CIFAR-100 und SVHN, mit Testfehlern von 3,77 %, 19,73 % und 1,59 % jeweils. Die RoR-3 Modelle erzielen auch Stand-of-the-Art-Ergebnisse im Vergleich zu ResNets auf dem ImageNet-Datensatz.请注意，"Stand-of-the-Art" 是 "state-of-the-art" 的德语译法，尽管有时也会看到 "State-of-the-Art" 这样的英语借词。在正式的科技或学术文献中，建议使用德语形式 "Stand-of-the-Art"。