AltCLIP : Modification du codeur linguistique dans CLIP pour des capacités linguistiques étendues

Dans cette étude, nous présentons une méthode conceptuellement simple et efficace pour entraîner un modèle de représentation bilingue/multilingue multimodal robuste. Partant du modèle de représentation multimodale pré-entraîné CLIP (Conceptualized Language–Image Pre-training) publié par OpenAI, nous avons modifié son encodeur textuel en utilisant un encodeur textuel multilingue pré-entraîné XLM-R (Cross-lingual Language Model Pretraining - RoBERTa). Les représentations linguistiques et visuelles ont été alignées grâce à un schéma d'entraînement en deux phases comprenant l'apprentissage par enseignement (teacher learning) et l'apprentissage contrastif. Nous avons validé notre méthode en évaluant ses performances sur une large gamme de tâches. Nous avons établi de nouvelles références en matière de performance sur plusieurs tâches, notamment ImageNet-CN, Flicker30k-CN, COCO-CN et XTD. De plus, nos résultats sont très proches de ceux obtenus par CLIP sur presque toutes les tâches, ce qui suggère qu'il est possible de modifier simplement l'encodeur textuel de CLIP pour étendre ses capacités, comme la compréhension multilingue. Nos modèles et notre code sont disponibles sur https://github.com/FlagAI-Open/FlagAI.