مجموعة بيانات MMPR-v1.2-Prompts لمطالبات الاستدلال متعدد الوسائط

MMPR-v1.2-Prompts هي مجموعة من نصوص التوجيهات لتعلم التفضيلات المنطقية متعددة الوسائط، أصدرها مختبر الذكاء الاصطناعي في شنغهاي عام ٢٠٢٤ بالتعاون مع جامعة تسينغهوا وجامعة فودان ومؤسسات أخرى. نتائج البحث ذات الصلة هي:تعزيز القدرة على التفكير في نماذج اللغة الكبيرة متعددة الوسائط من خلال تحسين التفضيلات المختلطة"، والذي يهدف إلى دعم تدريب وتقييم النماذج في مهام التفكير اللغوي البصري المعقدة.

بنية البيانات

تحتوي مجموعة البيانات على ما يقرب من 3 ملايين عينة، كل منها عبارة عن مطالبة نصية باللغة الطبيعية، وبعضها يحتوي على قيود متعددة الوسائط (مثل متطلبات الجمع بين التفكير في الصورة والنص):

• التعليمات/المطالبة: يتم التعبير عنها باللغة الطبيعية، وتغطي سيناريوهات التفكير المتعدد الوسائط مثل الإجابة على الأسئلة المرئية، والتفكير في النص البياني، وفهم المشهد.
• سياق الإدخال: في بعض المهام، يحتوي على صور أو نصوص أو مزيج من الاثنين لتقييد النموذج لتوليد المخرجات.
• تنسيق الإخراج: تنسيق الإجابة المحددة في المطالبة، مثل "سلسلة الأفكار"، "أسباب الاختيار المتعدد"، "الإخراج التوضيحي"، وما إلى ذلك.

تجدر الإشارة إلى أن مجموعة البيانات نفسها لا تحتوي على الإجابات أو نتائج تصنيف التفضيلات التي يولدها النموذج، ولكنها تعمل كنقطة بداية لتوليد البيانات، وتوفر مطالبات الإدخال للبناء اللاحق لبيانات تصنيف التفضيلات المتعددة الوسائط (مجموعة بيانات MMPR).