HyperAIHyperAI

Command Palette

Search for a command to run...

DeepMAD : Conception d'Architecture Mathématique pour les Réseaux de Neurones Convolutifs Profonds

Xuan Shen Yaohua Wang Ming Lin Yilun Huang Hao Tang Xiuyu Sun Yanzhi Wang

Résumé

Les progrès rapides des Vision Transformers (ViT) ont récemment révisé les performances de pointe dans diverses tâches visuelles, surpassant largement les modèles basés sur les réseaux de neurones convolutifs (CNN) traditionnels. Cela a stimulé récemment des recherches remarquables dans le domaine des CNN, démontrant que des modèles CNN purs peuvent atteindre des performances comparables à celles des ViT lorsqu’ils sont soigneusement ajustés. Bien que prometteur, la conception de tels modèles CNN à haute performance reste un défi, nécessitant des connaissances préalables non triviales en conception de réseau. À cette fin, nous proposons un cadre novateur, nommé DeepMAD (Mathematical Architecture Design for Deep CNN), permettant de concevoir des modèles CNN à haute performance de manière rigoureuse. Dans DeepMAD, un réseau CNN est modélisé comme un système de traitement d’information dont l’expressivité et l’efficacité peuvent être formulées analytiquement à partir de ses paramètres structurels. Un problème de programmation mathématique (MP) contraint est alors formulé afin d’optimiser ces paramètres structurels. Ce problème de MP peut être résolu efficacement à l’aide de solveurs MP standards sur processeur (CPU), avec une empreinte mémoire réduite. En outre, DeepMAD constitue un cadre purement mathématique : aucun GPU ni données d’entraînement n’est requis durant la phase de conception du réseau. L’efficacité de DeepMAD est validée sur plusieurs jeux de données de référence à grande échelle en vision par ordinateur. Notamment, sur ImageNet-1k, en n’utilisant que des couches convolutives classiques, DeepMAD atteint une précision top-1 supérieure de 0,7 % et 1,5 % par rapport à ConvNeXt et Swin au niveau « Tiny », et de 0,8 % et 0,9 % au niveau « Small ».


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp