Inception-v4, Inception-ResNet und der Einfluss von Residualverbindungen auf das Lernen

Sehr tiefe Faltungsschichtnetze (Convolutional Networks) haben in den letzten Jahren die größten Fortschritte bei der Bilderkennungsleistung ermöglicht. Ein Beispiel dafür ist die Inception-Architektur, die sehr gute Leistungen bei vergleichsweise geringem Rechenaufwand erzielt hat. Kürzlich hat die Einführung von Residuerverbindungen (Residual Connections) in Verbindung mit einer traditionelleren Architektur den Stand der Technik im ILSVRC-Wettbewerb 2015 definiert; ihre Leistung war vergleichbar mit der des neuesten Inception-v3-Netzes. Dies wirft die Frage auf, ob es Vorteile gibt, die Inception-Architektur mit Residuerverbindungen zu kombinieren. Hier präsentieren wir klare empirische Beweise, dass das Training mit Residuerverbindungen das Training von Inception-Netzen erheblich beschleunigt. Es gibt auch einige Hinweise darauf, dass Residual-Inception-Netze um einen schmalen Vorsprung besser abschneiden als vergleichsweise teure Inception-Netze ohne Residuerverbindungen. Wir stellen zudem mehrere neue vereinfachte Architekturen sowohl für Residual- als auch für nicht-Residual-Inception-Netze vor. Diese Variationen verbessern die Leistung der Einzelbildklassifizierung bei der ILSVRC 2012-Klassifikationsaufgabe erheblich. Weiterhin zeigen wir, wie eine angemessene Aktivierungsskalierung das Training sehr breiter Residual-Inception-Netze stabilisiert. Mit einem Ensemble aus drei Residual- und einem Inception-v4-Netz erreichen wir einen Top-5-Fehler von 3,08 Prozent auf dem Testdatensatz des ImageNet-Klassifikationswettbewerbs (CLS).