Recherche de prompt par réseau neuronal

La taille des modèles de vision a augmenté de manière exponentielle au cours des dernières années, notamment après l'émergence du Vision Transformer. Cela a motivé le développement de méthodes d'ajustement efficaces en paramètres, telles que l'apprentissage de couches adaptateurs ou de tokens de prompt visuels, permettant de ne former qu'une petite partie des paramètres du modèle tout en maintenant gelés la majorité des paramètres obtenus par pré-entraînement. Toutefois, concevoir une méthode d'ajustement adéquate n'est pas trivial : il peut être nécessaire d'expérimenter une longue liste de choix architecturaux, sans compter que chaque jeu de données cible nécessite souvent une conception personnalisée. Dans cet article, nous considérons les méthodes d'ajustement efficaces en paramètres existantes comme des « modules de prompt » et proposons NOAH (Neural prOmpt seArcH), une nouvelle approche qui apprend, pour les grands modèles de vision, la conception optimale de ces modules de prompt à l’aide d’un algorithme de recherche d’architecture neuronale, spécifiquement pour chaque jeu de données cible. Grâce à des expériences étendues sur plus de 20 jeux de données de vision, nous démontrons que NOAH (i) surpasse les modules de prompt individuels, (ii) possède une excellente capacité d’apprentissage peu supervisé (few-shot learning), et (iii) est généralisable à différents domaines. Le code et les modèles sont disponibles à l’adresse suivante : https://github.com/Davidzhangyuanhan/NOAH.