Optimisation de la recherche d'architecture neuronale en utilisant un temps GPU limité dans un espace de recherche dynamique : une approche basée sur la programmation génétique de l'expression génique

L’identification efficace des personnes et des objets, la segmentation des régions d’intérêt ainsi que l’extraction de données pertinentes dans les images, les textes, les audio et les vidéos ont considérablement évolué au cours des dernières années, grâce en grande partie aux méthodes d’apprentissage profond combinées aux progrès récents des ressources informatiques. Bien que son potentiel soit remarquable, le développement d’architectures et de modules efficaces exige des connaissances spécialisées ainsi qu’un important investissement de temps et de ressources. Dans cet article, nous proposons une approche fondée sur l’évolution pour la recherche d’architectures neuronales, permettant la découverte efficace de modèles convolutionnels dans un espace de recherche dynamique, en seulement 24 heures de calcul sur GPU. Grâce à son environnement de recherche efficace et à sa représentation phénotypique, la programmation d’expression génique est adaptée à la génération des cellules réseau. Malgré des ressources GPU limitées et un espace de recherche vaste, notre méthode atteint des performances comparables aux réseaux convolutionnels conçus manuellement ainsi qu’aux architectures générées par des méthodes de recherche automatique d’architectures (NAS), et même dépasse certaines approches évolutionnaires similaires sous contraintes. Les meilleures cellules identifiées dans différentes exécutions ont produit des résultats stables, avec une erreur moyenne de 2,82 % sur le jeu de données CIFAR-10 (le meilleur modèle atteignant 2,67 %) et de 18,83 % sur CIFAR-100 (meilleur modèle à 18,16 %). Pour ImageNet en mode mobile, notre meilleur modèle atteint des erreurs de 29,51 % en top-1 et de 10,37 % en top-5, respectivement. Bien que les travaux basés sur l’évolution pour la recherche d’architectures aient été rapportés comme nécessitant une quantité importante de temps GPU pour la recherche d’architecture, notre approche a permis d’obtenir des résultats prometteurs en très peu de temps, encourageant ainsi de futures recherches dans le domaine de la NAS évolutionnaire, notamment en vue d’améliorer les stratégies de recherche et les représentations des réseaux.