SqueezeNet: Genauigkeit auf AlexNet-Niveau mit 50-mal weniger Parametern und einem Modellvolumen von <0,5 MB

Neuere Forschungen zu tiefen neuronalen Netzen konzentrieren sich hauptsächlich auf die Verbesserung der Genauigkeit. Für ein bestimmtes Genauigkeitsniveau ist es in der Regel möglich, mehrere DNN-Architekturen zu identifizieren, die dieses Niveau erreichen. Bei gleicher Genauigkeit bieten kleinere DNN-Architekturen mindestens drei Vorteile: (1) Kleinere DNNs erfordern weniger Kommunikation zwischen Servern während des verteilten Trainings. (2) Kleinere DNNs benötigen weniger Bandbreite, um ein neues Modell von der Cloud zu einem autonomen Fahrzeug zu übertragen. (3) Kleinere DNNs sind besser geeignet für den Einsatz auf FPGAs und anderen Hardware mit begrenztem Speicher. Um all diese Vorteile zu bieten, schlagen wir eine kleine DNN-Architektur namens SqueezeNet vor. SqueezeNet erreicht auf ImageNet ein Genauigkeitsniveau vergleichbar mit AlexNet, aber mit 50-mal weniger Parametern. Zudem können wir durch Modellkompressionsverfahren SqueezeNet auf weniger als 0,5 MB komprimieren (510-mal kleiner als AlexNet).Die SqueezeNet-Architektur kann hier heruntergeladen werden: https://github.com/DeepScale/SqueezeNet