HyperAIHyperAI

Command Palette

Search for a command to run...

MemNAS : Recherche d'Architecture Neuronale Économe en Mémoire avec l'Apprentissage Grow-Trim

Mingoo Seok Huadong Ma Bo Wu Peiye Liu

Résumé

Les études récentes sur les techniques automatisées de recherche d'architectures neuronales ont démontré des performances significatives, comparables voire supérieures à celles des architectures neuronales conçues manuellement. Toutefois, la plupart des approches existantes privilégient l'utilisation de structures résiduelles ainsi que des connexions de concaténation entre les caractéristiques profondes et superficielles. Le modèle neuronal ainsi obtenu s'avère donc difficile à exécuter sur des dispositifs à ressources limitées, car il nécessite une mémoire importante pour stocker les paramètres du réseau ainsi que les cartes de caractéristiques intermédiaires, accompagnée d'une complexité de calcul excessive. Pour relever ce défi, nous proposons MemNAS, un cadre novateur de recherche d'architecture neuronale fondé sur une croissance et un élagage itératifs, qui optimise à la fois la performance et la consommation mémoire du réseau d'inférence. Plus précisément, durant le processus de recherche, nous considérons l'utilisation mémoire au cours de l'exécution — incluant à la fois les paramètres du réseau et la mémoire nécessaire aux cartes de caractéristiques intermédiaires essentielles — comme un objectif d'optimisation conjointement à la performance. Par ailleurs, afin d'améliorer la précision de la recherche, nous extrayons les informations de corrélation entre plusieurs architectures candidates afin de les classer, puis sélectionnons celles offrant un bon compromis entre performance et efficacité mémoire. Sur la tâche de classification ImageNet, MemNAS atteint une précision de 75,4 %, soit 0,7 % de plus que MobileNetV2, tout en nécessitant 42,1 % moins de mémoire. Des expériences supplémentaires confirment que MemNAS s'adapte efficacement à différents compromis entre précision et consommation mémoire.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp