L'ensemble de données Mantis-Instruct a été publié en 2024 par l'Université de Waterloo, l'Université Tsinghua et le Laboratoire d'intelligence artificielle de Shanghai.MANTIS : Réglage des instructions multi-images entrelacéesUn ensemble de données multimodales entrelacées texte-image, axé sur le réglage des instructions multi-images, composé de 14 sous-ensembles contenant 721 000 exemples, utilisé pour entraîner la famille de modèles Mantis. Cet ensemble de données couvre diverses compétences multi-images, notamment la coréférence, le raisonnement, la comparaison et la compréhension temporelle. Il comprend non seulement 10 sous-ensembles de données existants, mais également 4 nouveaux ensembles de données conçus pour étendre les capacités de raisonnement du modèle et d'autres compétences multi-images.