MMPR-v1.2-Prompts는 상하이 인공지능 연구소가 칭화대학교, 푸단대학교 및 기타 기관들과 협력하여 2024년에 발표한 다중모달 추론 선호도 학습을 위한 프롬프트 코퍼스 모음입니다. 관련 논문 결과는 다음과 같습니다.혼합 선호도 최적화를 통한 다중 모드 대규모 언어 모델의 추론 능력 향상"는 복잡한 시각 언어 추론 과제에서 모델의 훈련과 평가를 지원하는 것을 목표로 합니다.

데이터 구조

데이터 세트에는 약 300만 개의 샘플이 포함되어 있으며, 각각은 자연어 텍스트 프롬프트이고, 그 중 일부에는 다중 모드 제약 조건(예: 이미지와 텍스트 추론을 결합해야 하는 요구 사항)이 포함되어 있습니다.

• 지시/프롬프트: 시각적 질의응답, 그래프-텍스트 추론, 장면 이해 등 다중 모드 추론 시나리오를 포괄하는 자연어로 표현됩니다.
• 입력 컨텍스트: 일부 작업에서는 모델이 출력을 생성하도록 제한하기 위해 이미지, 텍스트 또는 두 가지의 조합이 포함됩니다.
• 출력 형식: 프롬프트에 지정된 답변의 형식입니다. 예를 들어 "생각의 사슬", "객관식 이유", "설명적 출력" 등이 있습니다.

데이터 세트 자체에는 모델이 생성한 답변이나 선호도 라벨링 결과가 포함되지 않지만, 데이터 생성의 시작점으로 사용되며, 이후 다중 모드 선호도 순위 데이터(MMPR 데이터 세트)를 구성하기 위한 입력 프롬프트를 제공합니다.