MMPR-v1.2-Prompts est un corpus de messages d'incitation pour l'apprentissage des préférences par raisonnement multimodal, publié en 2024 par le Laboratoire d'intelligence artificielle de Shanghai en collaboration avec l'Université Tsinghua, l'Université Fudan et d'autres institutions. Les résultats de l'étude sont les suivants :Améliorer la capacité de raisonnement des grands modèles linguistiques multimodaux via l'optimisation des préférences mixtes", qui vise à soutenir la formation et l'évaluation de modèles dans des tâches complexes de raisonnement en langage visuel.

Structure des données

L'ensemble de données contient environ 3 millions d'échantillons, chacun étant une invite de texte en langage naturel, dont certains contiennent des contraintes multimodales (telles que l'exigence de combiner le raisonnement par image et par texte) :

• Instruction/Invite : Exprimé en langage naturel, couvrant des scénarios de raisonnement multimodaux tels que la réponse à des questions visuelles, le raisonnement graphique-texte et la compréhension de scènes.
• Contexte d'entrée : dans certaines tâches, il contient des images, du texte ou une combinaison des deux pour contraindre le modèle à générer des sorties.
• Format de sortie : Le format de la réponse spécifiée dans l'invite, tel que « Chaîne de pensée », « Raisons à choix multiples », « Sortie explicative », etc.

Il convient de noter que l'ensemble de données lui-même ne contient pas les réponses ou les résultats d'étiquetage des préférences générés par le modèle, mais sert de point de départ pour la génération de données, fournissant des invites d'entrée pour la construction ultérieure de données de classement des préférences multimodales (ensemble de données MMPR).