Network in Network Im Netzwerk-in-Netzwerk-Modell (NiN) werden mehrere kleinere neuronale Netzwerke innerhalb eines größeren Netzwerks verwendet, um die Fähigkeit zur Merkmalsextraktion und Klassifikation zu verbessern. Dieses Ansatz ermöglicht eine tiefere Architektur und erhöht die Modellkapazität, ohne dass die Anzahl der Parameter unkontrolliert wächst. Die NiN-Architektur setzt auf 1x1-Faltungen, um die Dimensionalität der Featuremaps zu reduzieren und gleichzeitig die nicht-linearen Transformationen zu verstärken.

Wir schlagen eine neuartige tiefen Netzstruktur vor, die als "Network In Network" (NIN) bezeichnet wird, um die Modellunterscheidbarkeit für lokale Bereiche innerhalb des Rezeptorfelds zu verbessern. Die konventionelle Faltungsschicht verwendet lineare Filter, gefolgt von einer nichtlinearen Aktivierungsfunktion, um das Eingangssignal zu scannen. Stattdessen bauen wir Mikroneuronale Netze mit komplexeren Strukturen auf, um die Daten im Rezeptorfeld abzubilden. Wir instanziieren das Mikroneuronale Netz mit einem Mehrschichten-Wahrnehmungssystem (Multilayer Perceptron), das ein leistungsfähiger Funktionsapproximator ist. Die Merkmalskarten werden durch das Verschieben der Mikronetze über die Eingabe in ähnlicher Weise wie bei CNNs erzeugt und dann an die nächste Schicht weitergegeben. Ein tiefes NIN kann durch den Stapel mehrerer der oben beschriebenen Strukturen implementiert werden. Durch die verbesserte lokale Modellierung mittels des Mikronetzes können wir im Klassifikationsschicht globales Mittelwertspooling über die Merkmalskarten verwenden, was leichter zu interpretieren und weniger anfällig für Überanpassung (Overfitting) ist als traditionelle vollständig verbundene Schichten. Wir haben mit NIN auf den Datensätzen CIFAR-10 und CIFAR-100 erstklassige Klassifikationsleistungen demonstriert sowie zufriedenstellende Leistungen auf den Datensätzen SVHN und MNIST.