MMPR(Multimodal Preference Dataset)은 상하이 인공지능연구소, 푸단대학교, 난징대학교, 홍콩중문대학교, 청화대학교, 센스타임의 연구팀이 2024년에 공동으로 공개한 대규모 멀티모달 선호도 데이터 세트입니다. 관련 논문 결과는 "혼합 선호도 최적화를 통한 다중 모드 대규모 언어 모델의 추론 능력 향상". 이 데이터 세트에는 명확한 정답이 없는 샘플 75만 개와 명확한 정답이 있는 샘플 250만 개가 포함되어 있습니다. 샘플은 다양성을 보장하기 위해 VQA, 과학, 그래픽, 수학, OCR, 문서 등 다양한 분야를 포괄합니다. 연구진은 데이터 세트를 구축할 때, 특히 일반 VQA 및 문서 영역에서 휴리스틱 규칙의 한계로 인해 위양성/위음성 응답이 발생하지 않도록 특별히 주의를 기울였습니다. 이 데이터 세트는 다중 모드 추론 작업에서 모델의 성능을 향상시키고 학습 중 발생할 수 있는 부정적인 영향을 방지하도록 설계되었습니다.

소환

이 프로젝트가 연구에 유용하다고 생각되시면 다음 논문을 인용해 주시면 감사하겠습니다. “`BibTeX @article{wang2024mpo, 제목={혼합 선호 최적화를 통한 멀티모달 대규모 언어 모델의 추론 능력 향상} 저자={Wang, Weiyun 및 Chen, Zhe 및 Wang, Wenhai 및 Cao, Yue 및 Liu, Yangzhou 및 Gao, Zhangwei 및 Zhu, Jinguo 및 Zhu, Xizhou 및 Lu, Lewei 및 Qiao, Yu 및 Dai, Jifeng} 저널={arXiv 사전 출판물 arXiv:2411.10442}, 연도={2024} } @article{chen2023internvl, 제목={InternVL: 시각 기반 모델의 확장 및 일반적인 시각-언어 작업에 맞춘 정렬}, 저자={Chen, Zhe 및 Wu, Jiannan 및 Wang, Wenhai 및 Su, Weijie 및 Chen, Guo 및 Xing, Sen 및 Zhong, Muyan 및 Zhang, Qinglong 및 Zhu, Xizhou 및 Lu, Lewei 및 Li, Bin 및 Luo, Ping 및 Lu, Tong 및 Qiao, Yu 및 Dai, Jifeng} 저널={arXiv 사전출판물 arXiv:2312.14238}, 연도={2023} } @article{chen2024far, 제목={GPT-4V까지 얼마나 남았을까? 오픈소스 도구 모음을 활용하여 상용 멀티모달 모델과의 격차를 줄여보자} 저자: {Chen, Zhe 및 Wang, Weiyun 및 Tian, Hao 및 Ye, Shenglong 및 Gao, Zhangwei 및 Cui, Erfei 및 Tong, Wenwen 및 Hu, Kongzhi 및 Luo, Jiapeng 및 Ma, Zheng 및 기타} 저널={arXiv 사전 출판물 arXiv:2404.16821}, 연도={2024} }