ELEVATER : Un benchmark et un kit d'outils pour l'évaluation des modèles visuels augmentés par le langage

L'apprentissage de représentations visuelles à partir de la supervision par le langage naturel a récemment montré un grand potentiel dans plusieurs travaux pionniers. En général, ces modèles visuels augmentés par le langage démontrent une forte transférabilité vers divers ensembles de données et tâches. Cependant, il reste difficile d'évaluer cette transférabilité en raison du manque d'outils d'évaluation faciles à utiliser et de benchmarks publics. Pour résoudre ce problème, nous avons développé ELEVATER (Évaluation des Transferts au Niveau des Tâches pour les Modèles Visuels Augmentés par le Langage), la première plateforme de benchmark et d'outils pour évaluer les modèles visuels augmentés par le langage (pré-entraînés). ELEVATER est composé de trois éléments principaux. (i) Ensembles de données. Il s'agit de suites d'évaluation en aval, comprenant 20 ensembles de données de classification d'images et 35 ensembles de données de détection d'objets, chacun enrichi avec des connaissances externes. (ii) Outil. Un outil automatique d'ajustement des hyperparamètres a été développé pour faciliter l'évaluation des modèles sur les tâches en aval. (iii) Métriques. Une variété de métriques d'évaluation sont utilisées pour mesurer l'efficacité en termes d'échantillons (apprentissage sans exemple et apprentissage à partir de quelques exemples) et l'efficacité en termes de paramètres (sondage linéaire et ajustement fin complet du modèle). ELEVATER est une plateforme pour la Vision Informatique dans le Monde Réel (CVinW), et est mise à disposition publiquement à l'adresse https://computer-vision-in-the-wild.github.io/ELEVATER/