Condensation-Net: Speicher-effiziente Netzarchitektur mit Cross-Channel-Pooling-Layern und virtuellen Merkmalskarten

„Leichtgewichtige convolutionale neuronale Netze“ ist ein zentrales Forschungsthema im Bereich der eingebetteten Vision. Um Bilderkennungsaufgaben auf hardware-begrenzten Plattformen durchzuführen, ist es notwendig, die Speicherkapazität und die rechnerische Kosten zu reduzieren. Der Beitrag dieser Arbeit wird wie folgt zusammengefasst: Erstens stellen wir einen Algorithmus vor, der eine spezifische Netzarchitektur (Condensation-Net) verarbeitet, ohne die maximale Speicherbelegung für Aktivierungskarten zu erhöhen. Die Architektur für virtuelle Aktivierungskarten spart 26,5 % Bandbreite im Speicher durch die vorzeitige Berechnung der Ergebnisse des cross-channel-Pooling vor dem Speichern der Aktivierungskarten im Speicher. Zweitens zeigen wir, dass das cross-channel-Pooling die Genauigkeit von Objekterkennungsaufgaben, beispielsweise der Gesichtserkennung, verbessern kann, da es die Anzahl der Filtergewichte erhöht. Im Vergleich zu Tiny-YOLOv2 erreicht die Genauigkeitssteigerung bei quantisierten Netzwerken 2,0 % und bei vollpräzisen Netzwerken 1,5 % bei einem Falsch-Positiv-Rate von 0,1. Zuletzt zeigt die Analyse, dass der Overhead zur Unterstützung des cross-channel-Pooling mit der vorgeschlagenen Hardware-Architektur vernachlässigbar gering ist. Der zusätzliche Speicherbedarf zur Unterstützung von Condensation-Net beträgt lediglich 0,2 % der Gesamtgröße, und die zusätzliche Gatteranzahl beträgt nur 1,0 % der Gesamtgröße.