Wir stellen einen neuen Ansatz und eine neuartige Architektur namens WSNet zur Lernung kompakter und effizienter tiefer neuronaler Netze vor. Bisherige Ansätze lernen typischerweise die vollständigen Modellparameter unabhängig und komprimieren diese anschließend mittels ad-hoc-Verfahren wie Modellpruning oder Filterfaktorisierung. Im Gegensatz dazu schlägt WSNet vor, die Modellparameter durch Stichproben aus einer kompakten Menge lernbarer Parameter zu erlernen, wodurch eine natürliche Parameterfreigabe (parameter sharing) während des gesamten Lernprozesses gewährleistet wird. Wir zeigen, dass dieser neuartige Gewichtsstichprobenansatz (und das hieraus resultierende WSNet) sowohl eine Gewichts- als auch eine Rechenressourcenfreigabe begünstigt. Durch die Anwendung dieses Verfahrens können wir deutlich kleinere Netze effizienter lernen, die im Vergleich zu Baseline-Netzen mit gleicher Anzahl an Faltungsfiltern konkurrenzfähige Leistung erzielen. Insbesondere betrachten wir die Lernung kompakter und effizienter 1D-Faltungsneuronaler Netze für die Audiodatenklassifizierung. Umfangreiche Experimente an mehreren Audiodatenbanken bestätigen die Wirksamkeit von WSNet. In Kombination mit Gewichtsquantisierung sind die resultierenden Modelle bis zu 180-mal kleiner und theoretisch bis zu 16-mal schneller als etablierte Baselines, ohne eine signifikante Leistungseinbuße zu verursachen.