MMPR (Multimodal Preference Dataset) est un ensemble de données de préférences multimodales à grande échelle publié conjointement en 2024 par les équipes de recherche du Shanghai Artificial Intelligence Laboratory, de l'Université Fudan, de l'Université de Nanjing, de l'Université chinoise de Hong Kong, de l'Université Tsinghua et de SenseTime. Les résultats de l'article connexe sont «Améliorer la capacité de raisonnement des grands modèles linguistiques multimodaux via l'optimisation des préférences mixtesL'ensemble de données contient 750 000 échantillons sans réponses claires et correctes et 2,5 millions d'échantillons avec des réponses claires et correctes. Les échantillons couvrent plusieurs domaines tels que l'AQV, les sciences, le graphisme, les mathématiques, l'OCR et les documents afin de garantir la diversité. Lors de la construction de l'ensemble de données, les chercheurs ont veillé à éviter les réponses faussement positives et négatives en raison des limites des règles heuristiques, notamment dans les domaines généraux de l'AQV et des documents. L'ensemble de données est conçu pour améliorer les performances du modèle dans les tâches de raisonnement multimodal tout en évitant les effets négatifs potentiels pendant l'apprentissage.

Citation

Si vous trouvez ce projet utile pour vos recherches, veuillez envisager de le citer : « BibTeX » @article{wang2024mpo, titre={Amélioration des capacités de raisonnement des grands modèles de langage multimodaux par l'optimisation des préférences mixtes}, author={Wang, Weiyun et Chen, Zhe et Wang, Wenhai et Cao, Yue et Liu, Yangzhou et Gao, Zhangwei et Zhu, Jinguo et Zhu, Xizhou et Lu, Lewei et Qiao, Yu et Dai, Jifeng} journal={prépublication arXiv arXiv:2411.10442}, année={2024} } @article{chen2023internvl, titre={InternVL : Mise à l’échelle des modèles de base de la vision et alignement pour les tâches visuo-linguistiques génériques}, author={Chen, Zhe et Wu, Jiannan et Wang, Wenhai et Su, Weijie et Chen, Guo et Xing, Sen et Zhong, Muyan et Zhang, Qinglong et Zhu, Xizhou et Lu, Lewei et Li, Bin et Luo, Ping et Lu, Tong et Qiao, Yu et Dai, Jifeng} journal={prépublication arXiv arXiv:2312.14238}, année={2023} } @article{chen2024far, titre={À quel point sommes-nous proches de GPT-4V ? Combler le fossé avec les modèles multimodaux commerciaux grâce aux suites open source}, Auteurs : {Chen, Zhe et Wang, Weiyun et Tian, Hao et Ye, Shenglong et Gao, Zhangwei et Cui, Erfei et Tong, Wenwen et Hu, Kongzhi et Luo, Jiapeng et Ma, Zheng et autres} journal={prépublication arXiv arXiv:2404.16821}, année={2024} }