MiniCPM-V4.0: نموذج شامل وعالي الكفاءة واسع النطاق
1. مقدمة البرنامج التعليمي

MiniCPM-V 4.0 هو نموذج طرفي واسع النطاق وفعال للغاية، مفتوح المصدر، أطلقه مختبر معالجة اللغات الطبيعية بجامعة تسينغهوا وشركة Mianbi Intelligence في أغسطس 2025. بُني MiniCPM-V 4.0 على SigLIP2-400M وMiniCPM4-3B، بإجمالي عدد معاملات يبلغ 4.1 مليار. يرث هذا النموذج أداء MiniCPM-V 2.6 القوي في فهم الصور المفردة والمتعددة والفيديو، مما يُحسّن الكفاءة بشكل كبير. كما قامت Mianbi Intelligence بفتح تطبيقات iOS لأجهزة iPhone وiPad في الوقت نفسه. في تقييم OpenCompass، تجاوزت قدرات MiniCPM-V 4.0 في فهم الصور كلاً من GPT-4.1-mini-20250414 وQwen2.5-VL-3B-Instruct وInternVL2.5-8B. نتائج البحث ذات الصلة هي:MiniCPM-V: برنامج MLLM بمستوى GPT-4V على هاتفك".
يستخدم هذا البرنامج التعليمي بطاقة رسومات RTX 4090 واحدة كمورد حاسوبي. ثلاثة أمثلة للاختبار: محادثة مع صورة واحدة أو عدة صور، محادثة مع فيديو، ولقطات قليلة.
2. عرض التأثير

نشر MiniCPM-V 4.0 على iPhone 16 Pro Max،النسخة التجريبية لنظام iOSالفيديو التوضيحي هو تسجيل شاشة خام وغير محرر:

3. خطوات التشغيل
1. ابدأ تشغيل الحاوية

2. خطوات الاستخدام
إذا تم عرض "بوابة سيئة"، فهذا يعني أن النموذج قيد التهيئة. نظرًا لأن النموذج كبير الحجم، يرجى الانتظار لمدة 2-3 دقائق وتحديث الصفحة.
انقر فوق "كيفية الاستخدام" لعرض دليل الاستخدام.
1. الدردشة باستخدام صورة واحدة أو صور متعددة

المعلمات المحددة:
- نوع فك التشفير:
- البحث الشعاعي: طريقة فك تشفير عالية التحديد، تحاول الاحتفاظ بالتسلسلات المرشحة الأكثر احتمالاً. وهي أكثر ملاءمةً للسيناريوهات التي تتطلب نتائج دقيقة ومتسقة.
- أخذ العينات: أخذ عينات عشوائية من الكلمة التالية بناءً على توزيع احتمالي. النتيجة أكثر إبداعًا، لكنها قد تكون غير مستقرة.
2. الدردشة بالفيديو

3. عدد قليل من اللقطات
نموذج التعلم

المعلمات المحددة:
- المستخدم: أدخل الحقل الذي سيتم التنبؤ به أو تعلمه لهذه العينة.
- المساعد: أدخل القيمة المقابلة للحقل الذي يجب تعلمه لهذه العينة.
توقع النتيجة

4. المناقشة
🖌️ إذا رأيت مشروعًا عالي الجودة، فيرجى ترك رسالة في الخلفية للتوصية به! بالإضافة إلى ذلك، قمنا أيضًا بتأسيس مجموعة لتبادل الدروس التعليمية. مرحبًا بالأصدقاء لمسح رمز الاستجابة السريعة وإضافة [برنامج تعليمي SD] للانضمام إلى المجموعة لمناقشة المشكلات الفنية المختلفة ومشاركة نتائج التطبيق↓

معلومات الاستشهاد
معلومات الاستشهاد لهذا المشروع هي كما يلي:
@article{yao2024minicpm,
title={MiniCPM-V: A GPT-4V Level MLLM on Your Phone},
author={Yao, Yuan and Yu, Tianyu and Zhang, Ao and Wang, Chongyi and Cui, Junbo and Zhu, Hongji and Cai, Tianchi and Li, Haoyu and Zhao, Weilin and He, Zhihui and others},
journal={Nat Commun 16, 5509 (2025)},
year={2025}
}
@article{yao2024minicpm,
title={MiniCPM-V: A GPT-4V Level MLLM on Your Phone},
author={Yao, Yuan and Yu, Tianyu and Zhang, Ao and Wang, Chongyi and Cui, Junbo and Zhu, Hongji and Cai, Tianchi and Li, Haoyu and Zhao, Weilin and He, Zhihui and others},
journal={arXiv preprint arXiv:2408.01800},
year={2024}
}