HyperAIHyperAI

Command Palette

Search for a command to run...

ColorMAE : Exploration de stratégies d’encodage indépendantes des données dans les Autoencodeurs Masqués

Carlos Hinojosa Shuming Liu Bernard Ghanem

Résumé

Les Autoencodeurs Masqués (MAE) se sont imposés comme un cadre auto-supervisé robuste, offrant des performances remarquables sur une large gamme de tâches ultérieures. Afin d’augmenter la difficulté de la tâche prétexte et d’apprendre des représentations visuelles plus riches, les travaux existants se sont concentrés sur le remplacement du masquage aléatoire standard par des stratégies plus sophistiquées, telles que le masquage guidé par adversaire ou par enseignant. Toutefois, ces approches dépendent des données d’entrée, ce qui entraîne généralement une augmentation de la complexité du modèle et nécessite des calculs supplémentaires pour générer les motifs de masque. Cela soulève une question : peut-on améliorer les performances de MAE au-delà du masquage aléatoire sans dépendre des données d’entrée ni engendrer de coûts computationnels supplémentaires ? Dans ce travail, nous proposons une méthode simple mais efficace, indépendante des données, appelée ColorMAE, qui génère des motifs binaires de masque différents en filtrant du bruit aléatoire. Inspirés par le bruit couleur en traitement d’images, nous explorons quatre types de filtres afin d’obtenir des motifs de masque aux prioris spatiaux et sémantiques variés. ColorMAE ne nécessite ni paramètres apprenables supplémentaires ni surcharge computationnelle dans le réseau, tout en améliorant significativement les représentations apprises. Nous présentons une évaluation empirique complète, démontrant l’avantage de notre stratégie par rapport au masquage aléatoire sur les tâches ultérieures. Notamment, nous rapportons une amélioration de 2,72 en mIoU sur les tâches de segmentation sémantique par rapport aux implémentations de base de MAE.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
ColorMAE : Exploration de stratégies d’encodage indépendantes des données dans les Autoencodeurs Masqués | Articles | HyperAI