HyperAIHyperAI

Command Palette

Search for a command to run...

SplitEE : Sortie Précoce dans les Réseaux Neuronaux Profonds avec le Calcul Distribué

Divya J. Bajpai; Vivek K. Trivedi; Sohan L. Yadav; Manjesh K. Hanawal

Résumé

Les réseaux de neurones profonds (DNNs) ont attiré l'attention en raison de leurs performances exceptionnelles sur diverses tâches. Cependant, le déploiement de DNNs complets dans des appareils à ressources limitées (périphériques, mobiles, IoT) est difficile en raison de leur grande taille. Pour surmonter ce problème, différentes approches sont envisagées, comme le transfert d'une partie du calcul vers le cloud pour l'inférence finale (calcul fractionné) ou la réalisation de l'inférence à un niveau intermédiaire sans passer par toutes les couches (sorties précoces). Dans cette étude, nous proposons de combiner ces deux approches en utilisant des sorties précoces dans le calcul fractionné. Notre méthode consiste à déterminer jusqu'à quelle profondeur du calcul des DNNs doit être effectuée sur l'appareil (couche de fractionnement) et si un échantillon peut quitter cette couche ou doit être transféré. Ces décisions sont basées sur une combinaison pondérée de la précision, des coûts de calcul et des coûts de communication. Nous développons un algorithme nommé SplitEE pour apprendre une politique optimale. Étant donné que les DNNs pré-entraînés sont souvent déployés dans de nouveaux domaines où les vérités terrain peuvent être indisponibles et où les échantillons arrivent sous forme de flux continu, SplitEE fonctionne dans un cadre en ligne et non supervisé. Nous menons des expériences approfondies sur cinq jeux de données différents. SplitEE permet une réduction significative des coûts (>50%) avec une légère baisse de la précision (<2%) par rapport au cas où tous les échantillons sont inférés à la dernière couche. Le code source anonymisé est disponible à l'adresse \url{https://anonymous.4open.science/r/SplitEE_M-B989/README.md}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp