تعتمد التعلم المعتمد على التغذية الراجعة التقليدية لتقليل الهلوسة على التصنيف اليدوي المكثف أو النماذج الخاصة المكلفة. وهذا يترك المجتمع دون معرفة أساسية حول كيفية بناء تغذية راجعة عالية الجودة باستخدام النماذج المفتوحة المصدر للنماذج الكبيرة متعددة الوسائط (MLLMs). في هذا العمل، نقدّم RLAIF-V، وهي إطار عمل جديد يُتماشى مع MLLMs ضمن نموذج مفتوح المصدر بالكامل. يُستكشف بشكل مثالي النماذج المفتوحة المصدر للـ MLLMs من زاويتين: إنشاء بيانات تغذية راجعة عالية الجودة لتعلم التفضيل، وتوجيه ذاتي للتحسين أثناء الاستدلال لتمديد الأداء. أظهرت التجارب الواسعة على ستة معايير، سواء في التقييم التلقائي أو التقييم البشري، أن RLAIF-V يُعزز بشكل كبير من موثوقية النماذج في كلا مرحلتي تعلم التفضيل والاستدلال. حيث تقلّل النسخة RLAIF-V 7B من الهلوسة المتعلقة بالكائنات بنسبة 80.7%، ومن الهلوسة الإجمالية بنسبة 33.7%. وبشكل ملحوظ، تُظهر النسخة RLAIF-V 12B القدرة على التوافق الذاتي المُستترة في النماذج المفتوحة المصدر للـ MLLMs، حيث يمكن للنموذج تعلّم التحسين من تغذية راجعة ذاتية لتحقيق موثوقية تفوق موثوقية GPT-4V.