Knapsack Pruning mit Innerer Distillation

Die Pruning von neuronalen Netzwerken reduziert die Rechenkosten eines überparametrisierten Netzwerks und verbessert dessen Effizienz. Bekannte Methoden reichen von der ℓ₁-Norm-Sparsifizierung bis hin zu Neural Architecture Search (NAS). In dieser Arbeit stellen wir eine neuartige Pruning-Methode vor, die die Endgenauigkeit des reduzierten Netzwerks optimiert und Wissen aus den inneren Schichten des überparametrisierten Elternnetzwerks überträgt. Um diesen Ansatz zu ermöglichen, formulieren wir das Pruning als ein Rucksackproblem (Knapsack Problem), das das Verhältnis zwischen der Wichtigkeit von Neuronen und deren zugehörigen Rechenkosten optimiert. Anschließend werden Netzwerkkanäle entfernt, während die hochwertige Struktur des Netzwerks erhalten bleibt. Das reduzierte Netzwerk wird anschließend unter Aufsicht des Elternnetzwerks fine-tuned, wobei dessen inneres Wissen genutzt wird – eine Technik, die wir als Inner Knowledge Distillation bezeichnen. Unsere Methode erzielt state-of-the-art Ergebnisse auf ImageNet, CIFAR-10 und CIFAR-100 bei Verwendung von ResNet-Backbones. Um komplexe Netzwerkstrukturen wie Konvolutionen mit Skip-Verbindungen und Depthwise-Konvolutionen zu prunen, schlagen wir eine Block-Gruppierungsmethode vor, die diese Strukturen effektiv berücksichtigt. Auf diese Weise entstehen kompakte Architekturen mit denselben FLOPs wie EfficientNet-B0 und MobileNetV3, jedoch mit höherer Genauigkeit – um jeweils 1 % und 0,3 % auf ImageNet – sowie schnellerer Ausführungszeit auf GPU.