RLAIF-V: 오픈소스 AI 피드백을 통한 GPT-4V의 신뢰성 향상

허구 생성 감소를 위한 기존 피드백 학습은 수작업으로 이루어지는 인력 집약적 레이블링 또는 비용이 큰 전용 모델에 의존해 왔다. 이로 인해 오픈소스 MLLM을 활용해 고품질 피드백을 구축하는 데 관한 기초 지식이 부족한 상태로 남아 있다. 본 연구에서는 완전히 오픈소스 기반의 프레임워크인 RLAIF-V를 제안한다. RLAIF-V는 고품질 피드백 데이터 생성(선호도 학습용)과 추론 시스템 확장용 자기 피드백 안내(self-feedback guidance)라는 두 가지 관점에서 오픈소스 MLLM의 잠재력을 극대화한다. 자동 평가 및 인간 평가를 포함한 6개의 벤치마크에서 실시한 광범위한 실험 결과에 따르면, RLAIF-V는 선호도 학습 및 추론 시점에서 모델의 신뢰성 모두를 크게 향상시킴을 확인하였다. RLAIF-V 7B는 물체 허구 생성을 80.7%, 전체 허구 생성을 33.7% 감소시켰으며, 특히 RLAIF-V 12B는 오픈소스 MLLM의 자기 정렬(self-alignment) 가능성을 드러내며, 자기가 생성한 피드백을 통해 초GPT-4V 수준의 신뢰성을 달성할 수 있음을 보였다.