Prompt Tuning pour les modèles préentraînés multimodaux génératifs

Le prompt tuning est devenu un nouveau paradigme pour l’ajustement de modèles, et il s’est révélé efficace dans le préentraînement sur le langage naturel, voire dans le préentraînement visuel. Dans ce travail, nous explorons l’application du prompt tuning au préentraînement multimodal, en nous concentrant spécifiquement sur les modèles préentraînés multimodaux génératifs, plutôt que sur ceux fondés sur une approche contrastive. Plus précisément, nous mettons en œuvre le prompt tuning sur un modèle préentraîné unifié de type séquence à séquence, adapté à la fois aux tâches de compréhension et de génération. Les résultats expérimentaux montrent que le prompt tuning léger peut atteindre des performances comparables à celles de l’ajustement fin (fine-tuning), tout en surpassant d’autres méthodes d’ajustement léger. En outre, par rapport aux modèles ajustés finement, les modèles ajustés par prompt tuning démontrent une meilleure robustesse face aux attaques adverses. Nous constatons également que des facteurs expérimentaux, tels que la longueur du prompt, sa profondeur et la réparamétrisation, ont un impact significatif sur les performances du modèle, et nous proposons donc, sur la base d’observations empiriques, des recommandations pour la configuration du prompt tuning. Malgré les avantages observés, nous identifions encore certaines limitations du prompt tuning, et nous indiquons ainsi les axes de recherche futurs. Le code est disponible à l’adresse suivante : \url{https://github.com/OFA-Sys/OFA}