HyperAIHyperAI

Command Palette

Search for a command to run...

Modélisation d'image masquée indépendante de l'architecture — Du ViT au CNN

Siyuan Li Di Wu Fang Wu Zelin Zang Stan.Z.Li

Résumé

Le modèle d’image masquée (Masked Image Modeling, MIM), une méthode émergente de pré-entraînement auto-supervisée, a démontré des performances remarquables sur de nombreuses tâches visuelles en amont grâce aux transformateurs visionnels. Son principe fondamental est simple : une partie de l’image d’entrée est masquée, puis reconstruite via une tâche prétexte. Toutefois, le mécanisme sous-jacent du MIM n’est pas encore bien compris, et les études antérieures affirment que cette méthode fonctionne principalement avec les familles de transformateurs, tout en étant incompatibles avec les réseaux de neurones convolutifs (CNN). Dans ce travail, nous observons que le MIM enseigne essentiellement au modèle à mieux apprendre les interactions d’ordre intermédiaire entre les patches, afin d’extraire des représentations plus généralisables. À partir de cette observation, nous proposons un cadre de modèle d’image masquée indépendant de l’architecture (Architecture-Agnostic Masked Image Modeling, A²MIM), qui est compatible de manière unifiée à la fois avec les transformateurs et les CNN. Des expériences étendues sur des benchmarks populaires montrent que A²MIM apprend des représentations plus performantes sans nécessiter de conception explicite, et confère au modèle de base une capacité renforcée de transfert vers diverses tâches en amont.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp