Formation uniquement textuelle pour la légendage d'images à l'aide de CLIP injecté de bruit

Nous abordons la tâche de légendage d'images en utilisant uniquement le modèle CLIP et des données textuelles supplémentaires lors de l'entraînement, sans recourir à des images supplémentaires légendées. Notre approche repose sur le fait que CLIP est entraîné pour rendre les plongements visuels et textuels similaires. Par conséquent, nous n'avons besoin que d'apprendre comment traduire les plongements textuels de CLIP en texte, ce que nous pouvons faire en apprenant un décodeur pour l'encodeur de texte de CLIP figé, en utilisant uniquement du texte. Nous soutenons que cette intuition est « presque correcte » en raison d'un écart entre les espaces de plongement, et proposons de corriger cela par l'injection de bruit pendant l'entraînement. Nous démontrons l'efficacité de notre approche en montrant des résultats d'état de l'art (SOTA) pour le légendage d'images zéro-shot sur quatre benchmarks, y compris le transfert de style. Le code, les données et les modèles sont disponibles sur GitHub.