MemNAS : Recherche d'Architecture Neuronale Économe en Mémoire avec l'Apprentissage Grow-Trim

Les études récentes sur les techniques automatisées de recherche d'architectures neuronales ont démontré des performances significatives, comparables voire supérieures à celles des architectures neuronales conçues manuellement. Toutefois, la plupart des approches existantes privilégient l'utilisation de structures résiduelles ainsi que des connexions de concaténation entre les caractéristiques profondes et superficielles. Le modèle neuronal ainsi obtenu s'avère donc difficile à exécuter sur des dispositifs à ressources limitées, car il nécessite une mémoire importante pour stocker les paramètres du réseau ainsi que les cartes de caractéristiques intermédiaires, accompagnée d'une complexité de calcul excessive. Pour relever ce défi, nous proposons MemNAS, un cadre novateur de recherche d'architecture neuronale fondé sur une croissance et un élagage itératifs, qui optimise à la fois la performance et la consommation mémoire du réseau d'inférence. Plus précisément, durant le processus de recherche, nous considérons l'utilisation mémoire au cours de l'exécution — incluant à la fois les paramètres du réseau et la mémoire nécessaire aux cartes de caractéristiques intermédiaires essentielles — comme un objectif d'optimisation conjointement à la performance. Par ailleurs, afin d'améliorer la précision de la recherche, nous extrayons les informations de corrélation entre plusieurs architectures candidates afin de les classer, puis sélectionnons celles offrant un bon compromis entre performance et efficacité mémoire. Sur la tâche de classification ImageNet, MemNAS atteint une précision de 75,4 %, soit 0,7 % de plus que MobileNetV2, tout en nécessitant 42,1 % moins de mémoire. Des expériences supplémentaires confirment que MemNAS s'adapte efficacement à différents compromis entre précision et consommation mémoire.