Zwei auf einmal: Verbesserung der Lern- und Generalisierungsfähigkeiten durch IBN-Netzwerk

Faltungsneuronale Netze (CNNs) haben bei vielen Problemen der Computer Vision große Erfolge erzielt. Im Gegensatz zu bisherigen Arbeiten, die CNN-Architekturen entwarfen, um die Leistung bei einer einzelnen Aufgabe eines bestimmten Bereichs zu verbessern und die nicht übertragbar sind, stellen wir IBN-Net vor, eine neuartige Faltungsarchitektur, die die Modellierungsfähigkeit eines CNN sowohl in einem Bereich (z.B. Cityscapes) als auch seine Generalisierungsfähigkeit in einem anderen Bereich (z.B. GTA5) ohne Feinabstimmung erheblich steigert. IBN-Net integriert Instanznormalisierung (IN) und Batches-Normalisierung (BN) sorgfältig als Bausteine und kann in viele fortschrittliche Tiefennetze eingebunden werden, um deren Leistung zu verbessern. Diese Arbeit hat drei wesentliche Beiträge: (1) Durch eine detaillierte Untersuchung von IN und BN zeigen wir auf, dass IN Merkmale lernt, die invariant gegenüber Erscheinungsänderungen wie Farben, Stilen und Virtualität/Wirklichkeit sind, während BN für das Erhalt der inhaltsbezogenen Informationen unerlässlich ist. (2) IBN-Net kann auf viele fortschrittliche tiefenschichtige Architekturen angewendet werden, wie z.B. DenseNet, ResNet, ResNeXt und SENet, und ihre Leistung kontinuierlich verbessert, ohne den Rechenaufwand zu erhöhen. (3) Bei der Anwendung der trainierten Netze auf neue Bereiche, z.B. von GTA5 zu Cityscapes, erreicht IBN-Net vergleichbare Verbesserungen wie Domänenanpassungsmethoden, sogar ohne Daten des Zielbereichs zu verwenden. Mit IBN-Net belegten wir den ersten Platz im WAD 2018 Challenge Drivable Area Track mit einem mIoU von 86,18 %.