تُعد أزواج الصور والنصوص المستخرجة من الويب ذات طبيعة ضوضائية بشكل طبيعي. تُظهر الدراسات السابقة أن محاذاة النصوص من الناحية الدلالية وغناها يمكن أن يُحدث تحسينًا كبيرًا في تدريب النماذج عبر مهام الرؤية واللغة المختلفة، وبخاصة توليد الصور من النصوص. ومع ذلك، تظل الدراسات الكبيرة في هذا المجال تُدار بشكل رئيسي بشكل مغلق. يهدف بحثنا إلى سد الفجوة في هذا المجال، مستخدمين نموذج LLaMA-3 المفتوح المصدر والقوي، وهو نموذج لغوي كبير (LLM) بمستوى مماثل لـ GPT-4. يتسم خط أنابيب إعادة التسمية لدينا بالبساطة: أولاً، نُعدّل نموذج LLaVA-1.5 المُشغّل بـ LLaMA-3-8B، ثم نستخدمه لإعادة تسمية 1.3 مليار صورة من مجموعة بيانات DataComp-1B. تؤكد النتائج التجريبية أن هذه المجموعة المُحسّنة، المُسمّاة Recap-DataComp-1B، تقدّم فوائد كبيرة في تدريب النماذج المتقدمة للرؤية واللغة. بالنسبة للنماذج التمييزية مثل CLIP، نلاحظ تحسنًا في الأداء عند التقييم بدون تدريب (zero-shot) في مهام استرجاع المحتوى عبر الوسائط المختلفة. أما بالنسبة للنماذج التوليدية مثل نماذج التحويل التوليدية للصورة من النص (Diffusion Transformers)، فإن الصور الناتجة تُظهر تحسينًا ملحوظًا في التوافق مع تعليمات المستخدم النصية، وبخاصة عند التعامل مع الاستفسارات المعقدة. يمكن زيارة صفحة المشروع عبر الرابط التالي: https://www.haqtu.me/Recap-Datacomp-1B/