MMPR 다중 모드 추론 선호도 데이터 세트

MMPR(Multimodal Preference Dataset)은 상하이 인공지능연구소, 푸단대학교, 난징대학교, 홍콩중문대학교, 청화대학교, 센스타임의 연구팀이 2024년에 공동으로 공개한 대규모 멀티모달 선호도 데이터 세트입니다. 관련 논문 결과는 "혼합 선호도 최적화를 통한 다중 모드 대규모 언어 모델의 추론 능력 향상". 이 데이터 세트에는 명확한 정답이 없는 샘플 75만 개와 명확한 정답이 있는 샘플 250만 개가 포함되어 있습니다. 샘플은 다양성을 보장하기 위해 VQA, 과학, 그래픽, 수학, OCR, 문서 등 다양한 분야를 포괄합니다. 연구진은 데이터 세트를 구축할 때, 특히 일반 VQA 및 문서 영역에서 휴리스틱 규칙의 한계로 인해 위양성/위음성 응답이 발생하지 않도록 특별히 주의를 기울였습니다. 이 데이터 세트는 다중 모드 추론 작업에서 모델의 성능을 향상시키고 학습 중 발생할 수 있는 부정적인 영향을 방지하도록 설계되었습니다.