L'apprentissage contrastif multimodal avec sélection d'exemples conjoints (JEST) est un nouvel algorithme proposé par l'équipe de recherche DeepMind en 2024.La conservation des données via la sélection conjointe d'exemples accélère encore davantage l'apprentissage multimodalJEST vise à résoudre le problème de la forte consommation d'énergie lors de l'apprentissage de grands modèles de langage tels que ChatGPT. L'algorithme JEST réduit considérablement les ressources de calcul et le temps nécessaires en sélectionnant des sous-lots de haute qualité parmi des « super lots » à grande échelle pour l'apprentissage.

L'idée principale de l'algorithme JEST est d'utiliser l'apprentissage contrastif multimodal et la sélection d'exemples conjoints pour améliorer l'efficacité de la formation. Il évalue d'abord la capacité d'apprentissage de l'ensemble du sous-lot, puis échantillonne en fonction des scores pour sélectionner les sous-lots les plus pertinents pour l'apprentissage en vue de la formation. Cette approche améliore non seulement l’efficacité de la formation, mais accélère également l’apprentissage multimodal. Lors de l'utilisation de ratios de filtrage de 50%, 80% et 90%, seuls 2 milliards, 1 milliard et 670 millions d'échantillons d'entraînement sont nécessaires, respectivement, pour atteindre les performances finales du benchmark uniforme de 3 milliards.

De plus, l'algorithme JEST prend également en compte l'effet synergique entre la formation multi-résolution et la sélection par lots en ligne pour réduire davantage le coût de calcul.