ساهمت توفر مجموعات بيانات كبيرة الحجم لوصف الصور وفهم الأسئلة البصرية بشكل كبير في النجاحات الأخيرة في التدريب المسبق للرؤية واللغة. ومع ذلك، غالبًا ما تُجمع هذه المجموعات وفقًا لشروط صارمة جدًا مستمدة من المهام الأصلية التي صُمّمت من أجلها (مثل إنشاء وصف للصور)، مما يحد من حجم وتنوع البيانات الناتجة. ونأخذ خطوة متقدمة نحو توسيع حدود بيانات التدريب المسبق للرؤية واللغة من خلال تخفيف عملية جمع البيانات المستخدمة في مجموعة بيانات "مُفاهيم 3 ملايين" (CC3M) [Sharma et al. 2018]، ونُقدّم مجموعة بيانات جديدة تُسمى "مُفاهيم 12 مليون" (CC12M)، تحتوي على 12 مليون زوجًا من الصور والنصوص مصممة خصيصًا لاستخدامها في التدريب المسبق للرؤية واللغة. قمنا بتحليل هذه المجموعة وBenchmark فعاليتها مقابل CC3M في عدة مهام لاحقة، مع التركيز على التعرف البصري للسياقات الطويلة الذيل (long-tail visual recognition). وقد أظهرت النتائج بوضوح فوائد توسيع نطاق بيانات التدريب المسبق للمهام المتعلقة بالرؤية واللغة، حيث تم تحقيق نتائج جديدة قياسية على كل من معايير "nocaps" و"مُفاهيم 12 مليون".