Modélisation d'image masquée indépendante de l'architecture — Du ViT au CNN

Le modèle d’image masquée (Masked Image Modeling, MIM), une méthode émergente de pré-entraînement auto-supervisée, a démontré des performances remarquables sur de nombreuses tâches visuelles en amont grâce aux transformateurs visionnels. Son principe fondamental est simple : une partie de l’image d’entrée est masquée, puis reconstruite via une tâche prétexte. Toutefois, le mécanisme sous-jacent du MIM n’est pas encore bien compris, et les études antérieures affirment que cette méthode fonctionne principalement avec les familles de transformateurs, tout en étant incompatibles avec les réseaux de neurones convolutifs (CNN). Dans ce travail, nous observons que le MIM enseigne essentiellement au modèle à mieux apprendre les interactions d’ordre intermédiaire entre les patches, afin d’extraire des représentations plus généralisables. À partir de cette observation, nous proposons un cadre de modèle d’image masquée indépendant de l’architecture (Architecture-Agnostic Masked Image Modeling, A²MIM), qui est compatible de manière unifiée à la fois avec les transformateurs et les CNN. Des expériences étendues sur des benchmarks populaires montrent que A²MIM apprend des représentations plus performantes sans nécessiter de conception explicite, et confère au modèle de base une capacité renforcée de transfert vers diverses tâches en amont.