RLAIF-V 데이터 세트는 다양한 작업과 도메인을 포괄하는 AI가 생성한 다중 모드 선호도 데이터 세트입니다. 이 데이터 세트에는 다중 모드 대규모 언어 모델(MLLM)을 훈련하고 평가하기 위한 44,757개 이상의 고품질 쌍이 포함되어 있습니다. RLAIF-V 데이터 세트는 오픈 소스 대규모 모델을 사용하여 모델 응답의 교란을 해소하는 새로운 접근 방식을 사용하며, 다양한 MLLM의 환각 현상을 줄이기 위해 고품질 피드백 데이터를 제공합니다. 또한 RLAIF-V 데이터 세트는 최초의 엔드투엔드 GPT-4V 수준 MLLM17을 나타내는 MiniCPM-Llama3-V 2.5 모델을 훈련하는 데에도 사용됩니다. RLAIF-V 프로젝트는 연구 커뮤니티에서 코드, 가중치(7B, 12B) 및 데이터를 오픈 소스로 공개하여 사용 및 추가 연구에 활용할 수 있도록 했습니다. RLAIF-V 데이터 세트의 주요 특징은 다음과 같습니다.

1. 고품질 피드백 데이터: 데이터 세트에 사용된 다양한 MLLM을 통해 환각을 효과적으로 감소시켰습니다.
2. 오픈소스: 데이터 세트는 완전히 오픈 소스이므로 연구자들은 자유롭게 접근하여 사용할 수 있습니다.
3. 멀티태스킹 및 멀티도메인: 이 데이터 세트는 광범위한 작업과 도메인을 포괄하여 다양한 선호도 데이터를 제공합니다. RLAIF-V 데이터 세트의 라이선스는 CC BY NC 4.0으로, 비상업적 사용에만 허용되며, 이 데이터 세트를 사용하여 학습한 모델은 연구 목적 이외의 용도로 사용해서는 안 됩니다.