SplitEE : Sortie Précoce dans les Réseaux Neuronaux Profonds avec le Calcul Distribué

Les réseaux de neurones profonds (DNNs) ont attiré l'attention en raison de leurs performances exceptionnelles sur diverses tâches. Cependant, le déploiement de DNNs complets dans des appareils à ressources limitées (périphériques, mobiles, IoT) est difficile en raison de leur grande taille. Pour surmonter ce problème, différentes approches sont envisagées, comme le transfert d'une partie du calcul vers le cloud pour l'inférence finale (calcul fractionné) ou la réalisation de l'inférence à un niveau intermédiaire sans passer par toutes les couches (sorties précoces). Dans cette étude, nous proposons de combiner ces deux approches en utilisant des sorties précoces dans le calcul fractionné. Notre méthode consiste à déterminer jusqu'à quelle profondeur du calcul des DNNs doit être effectuée sur l'appareil (couche de fractionnement) et si un échantillon peut quitter cette couche ou doit être transféré. Ces décisions sont basées sur une combinaison pondérée de la précision, des coûts de calcul et des coûts de communication. Nous développons un algorithme nommé SplitEE pour apprendre une politique optimale. Étant donné que les DNNs pré-entraînés sont souvent déployés dans de nouveaux domaines où les vérités terrain peuvent être indisponibles et où les échantillons arrivent sous forme de flux continu, SplitEE fonctionne dans un cadre en ligne et non supervisé. Nous menons des expériences approfondies sur cinq jeux de données différents. SplitEE permet une réduction significative des coûts (>50%) avec une légère baisse de la précision (<2%) par rapport au cas où tous les échantillons sont inférés à la dernière couche. Le code source anonymisé est disponible à l'adresse \url{https://anonymous.4open.science/r/SplitEE_M-B989/README.md}.