Squeezed Very Deep Convolutionale Neuronale Netze für Textklassifizierung

Die meisten Forschungen im Bereich der Faltungsneuronalen Netze (CNN) haben sich auf die Erhöhung der Netzwerktiefe konzentriert, um die Genauigkeit zu verbessern. Dies hat jedoch zu einer enormen Anzahl von Parametern geführt, die das trainierte Netzwerk an Plattformen mit Speicher- und Prozessoreinschränkungen binden. In diesem Artikel schlagen wir eine Modifikation der Struktur des Very Deep Convolutional Neural Networks (VDCNN)-Modells vor, um den Anforderungen mobiler Plattformen gerecht zu werden und gleichzeitig die Leistung beizubehalten. Wir evaluieren den Einfluss von zeitlichen Tiefenspektren trennbaren Faltungen (Temporal Depthwise Separable Convolutions) und globaler durchschnittlicher Pooling (Global Average Pooling) auf die Anzahl der Netzwerkparameter, den Speicherbedarf und die Latenz. Das komprimierte Modell (SVDCNN) ist je nach Netzwerktiefe zwischen 10- und 20-fach kleiner und behält eine maximale Größe von 6 MB. Was die Genauigkeit betrifft, erleidet das Netzwerk einen Verlust zwischen 0,4 % und 1,3 % und erreicht geringere Latenzen im Vergleich zum Basismodell.