Command Palette
Search for a command to run...
Kontextbewusste tiefe Modellkompression für Edge-Cloud-Computing
Kontextbewusste tiefe Modellkompression für Edge-Cloud-Computing
Baochun Li Xinbing Wang Dixi Yao Xing Zhao Jiaju Chen Jiayu Xu Liyao Xiang Lingdong Wang
Zusammenfassung
Obwohl tiefe neuronale Netze (DNNs) eine Paradigmenverschiebung hervorgerufen haben, stellt ihre exorbitante Rechenanforderung weiterhin eine zentrale Herausforderung für deren Einsatz am Edge – beispielsweise auf tragbaren Geräten und Smartphones – dar. Daher wird ein hybrider Edge-Cloud-Rechenrahmen vorgeschlagen, der einen Teil der Berechnungen in die Cloud verlagert, indem die DNN-Operationen unter der Annahme konstanter Netzwerkbedingungen naiv partitioniert werden. In der Praxis variiert der Netzwerkzustand jedoch erheblich je nach Kontext, und die Strategien zur DNN-Partitionierung sind nur begrenzt anpassungsfähig. In diesem Artikel untersuchen wir die strukturelle Flexibilität von DNNs, um das Edge-Modell an wechselnde Netzwerkbedingungen und unterschiedliche Einsatzplattformen anzupassen. Konkret entwickeln wir eine auf Verstärkendem Lernen basierende Entscheidungsmaschine, die nach Modelltransformationsstrategien sucht, um ein kombiniertes Ziel aus Modellgenauigkeit und Berechnungsverzögerung zu erreichen. Die Maschine generiert einen kontextbewussten Modellbaum, sodass das DNN zur Laufzeit entscheiden kann, auf welchen Modellzweig es wechseln soll. Die Ergebnisse aus Emulation und Feldexperimenten zeigen, dass unsere Methode eine Latenzreduktion von 30 % bis 50 % ermöglicht, ohne die Modellgenauigkeit zu beeinträchtigen.