OpenFlamingo : Un cadre open-source pour l'entraînement de modèles vision-langage autoregressifs de grande taille

Nous présentons OpenFlamingo, une famille de modèles vision-langage autoregressifs, dont la taille varie de 3 à 9 milliards de paramètres. OpenFlamingo est un projet en cours visant à produire une réplique open source des modèles Flamingo développés par DeepMind. Sur sept jeux de données vision-langage, les modèles OpenFlamingo atteignent en moyenne entre 80 % et 89 % des performances des modèles Flamingo correspondants. Ce rapport technique décrit nos modèles, les données d'entraînement, les hyperparamètres ainsi que notre suite d'évaluation. Nous mettons à disposition nos modèles et notre code à l'adresse suivante : https://github.com/mlfoundations/open_flamingo.