Wir verwenden das Streunetzwerk als generische und feste Initialisierung der ersten Schichten eines überwachten hybriden Tiefen-Netzwerks. Wir zeigen, dass die frühen Schichten nicht unbedingt gelernt werden müssen, indem wir die besten Ergebnisse bislang mit vordefinierten Repräsentationen erzielen, während gleichzeitig mit tiefen Faltungsneuronalen Netzwerken (CNNs) konkurrieren. Durch die Verwendung einer flachen Kaskade von 1 x 1 Faltungen, die Streukoeffizienten kodiert, die sehr kleinen räumlichen Fenstern entsprechen, können wir die Genauigkeit von AlexNet auf Imagenet ILSVRC2012 erreichen. Wir demonstrieren, dass diese lokale Kodierung explizit Invarianz bezüglich Drehungen lernt. Die Kombination von Streunetzwerken mit einem modernen ResNet ermöglicht es uns, einen Einzel-Crop Top-5-Fehler von 11,4 % auf Imagenet ILSVRC2012 zu erzielen, was der Architektur des ResNet-18 vergleichbar ist, wobei wir nur 10 Schichten nutzen. Darüber hinaus stellen wir fest, dass hybride Architekturen in Regimen mit wenigen Beispielen durch ihre Fähigkeit zur Integration geometrischer A-priori-Wissen ausgezeichnete Leistungen erzielen können und ihre End-to-End-Gegenstücke übertreffen. Dies demonstrieren wir an Teilmengen des CIFAR-10-Datensatzes sowie am STL-10-Datensatz.