DeepMAD : Conception d'Architecture Mathématique pour les Réseaux de Neurones Convolutifs Profonds

Les progrès rapides des Vision Transformers (ViT) ont récemment révisé les performances de pointe dans diverses tâches visuelles, surpassant largement les modèles basés sur les réseaux de neurones convolutifs (CNN) traditionnels. Cela a stimulé récemment des recherches remarquables dans le domaine des CNN, démontrant que des modèles CNN purs peuvent atteindre des performances comparables à celles des ViT lorsqu’ils sont soigneusement ajustés. Bien que prometteur, la conception de tels modèles CNN à haute performance reste un défi, nécessitant des connaissances préalables non triviales en conception de réseau. À cette fin, nous proposons un cadre novateur, nommé DeepMAD (Mathematical Architecture Design for Deep CNN), permettant de concevoir des modèles CNN à haute performance de manière rigoureuse. Dans DeepMAD, un réseau CNN est modélisé comme un système de traitement d’information dont l’expressivité et l’efficacité peuvent être formulées analytiquement à partir de ses paramètres structurels. Un problème de programmation mathématique (MP) contraint est alors formulé afin d’optimiser ces paramètres structurels. Ce problème de MP peut être résolu efficacement à l’aide de solveurs MP standards sur processeur (CPU), avec une empreinte mémoire réduite. En outre, DeepMAD constitue un cadre purement mathématique : aucun GPU ni données d’entraînement n’est requis durant la phase de conception du réseau. L’efficacité de DeepMAD est validée sur plusieurs jeux de données de référence à grande échelle en vision par ordinateur. Notamment, sur ImageNet-1k, en n’utilisant que des couches convolutives classiques, DeepMAD atteint une précision top-1 supérieure de 0,7 % et 1,5 % par rapport à ConvNeXt et Swin au niveau « Tiny », et de 0,8 % et 0,9 % au niveau « Small ».