MultiSubs: مجموعة بيانات كبيرة متعددة الوسائط واللغات

يقدم هذا البحث مجموعة بيانات كبيرة متعددة الوسائط واللغات تهدف إلى تسهيل البحوث حول ربط الكلمات بالصور في استخدامها السياقي في اللغة. تتكون هذه المجموعة من صور تم اختيارها لتصور مفاهيم معبّر عنها في جمل من تترات الأفلام بشكل لا لبس فيه. تعد هذه المجموعة مصدرًا قيمًا نظرًا لأن (أ) الصور متماشية مع أجزاء النص بدلاً من الجمل الكاملة؛ (ب) يمكن أن تكون هناك صور متعددة لكل جزء نصي وجملة؛ (ج) الجمل حرة الشكل وتشبه الحياة الحقيقية؛ (د) النصوص المتوازية متعددة اللغات.لقد أنشأنا لعبة "إكمال الفراغ" للبشر لتقييم جودة عملية اختيار الصور تلقائيًا في مجموعتنا. نوضح فائدة المجموعة على مهمتين تلقائيتين: (أ) إكمال الفراغ؛ (ب) الترجمة اللفظية. تظهر نتائج التقييم البشري والأنماط التلقائية أن الصور يمكن أن تكون مكملًا مفيدًا للسياق النصي. ستستفيد البحوث حول ربط الكلمات بصرياً، خاصة في سياق الجمل الحرة الشكل، من هذه المجموعة التي يمكن الحصول عليها من https://doi.org/10.5281/zenodo.5034604 بموجب رخصة كرييتيف كومونز.