1. مقدمة البرنامج التعليمي

يُعدّ MiniCPM-V 4.0 نموذجًا عالي الكفاءة يعمل على مستوى الحافة، وهو نموذج مفتوح المصدر تم طرحه في أغسطس 2025 من قِبل مختبر معالجة اللغات الطبيعية بجامعة تسينغهوا بالتعاون مع شركة Wallfacer Intelligence. يعتمد MiniCPM-V 4.0 على معالجَي SigLIP2-400M وMiniCPM4-3B، ويبلغ إجمالي عدد معلماته 4.1 مليار. ويرث هذا النموذج الأداء المتميز لـ MiniCPM-V 2.6 في فهم الصور المفردة والمتعددة والفيديوهات، مع تحسين ملحوظ في الكفاءة. وقد طرحت Wallfacer Intelligence في الوقت نفسه تطبيقات مفتوحة المصدر لنظام iOS لأجهزة iPhone وiPad. في اختبار OpenCompass المعياري، تتفوق قدرات MiniCPM-V 4.0 في فهم الصور على نماذج GPT-4.1-mini-20250414 وQwen2.5-VL-3B-Instruct وInternVL2.5-8B. تتوفر أوراق بحثية ذات صلة. MiniCPM-V: برنامج MLLM بمستوى GPT-4V على هاتفك .

يستخدم هذا البرنامج التعليمي بطاقة رسومات RTX 4090 واحدة كمورد حاسوبي. ثلاثة أمثلة للاختبار: محادثة مع صورة واحدة أو عدة صور، محادثة مع فيديو، ولقطات قليلة.

2. عرض التأثير

نشر MiniCPM-V 4.0 على iPhone 16 Pro Max،النسخة التجريبية لنظام iOSالفيديو التوضيحي هو تسجيل شاشة خام وغير محرر:

3. خطوات التشغيل

1. ابدأ تشغيل الحاوية

2. خطوات الاستخدام

إذا تم عرض "بوابة سيئة"، فهذا يعني أن النموذج قيد التهيئة. نظرًا لأن النموذج كبير الحجم، يرجى الانتظار لمدة 2-3 دقائق وتحديث الصفحة.

انقر فوق "كيفية الاستخدام" لعرض دليل الاستخدام.

1. الدردشة باستخدام صورة واحدة أو صور متعددة

المعلمات المحددة:

• نوع فك التشفير:
  • البحث الشعاعي: طريقة فك تشفير عالية التحديد، تحاول الاحتفاظ بالتسلسلات المرشحة الأكثر احتمالاً. وهي أكثر ملاءمةً للسيناريوهات التي تتطلب نتائج دقيقة ومتسقة.
  • أخذ العينات: أخذ عينات عشوائية من الكلمة التالية بناءً على توزيع احتمالي. النتيجة أكثر إبداعًا، لكنها قد تكون غير مستقرة.

2. الدردشة بالفيديو

3. عدد قليل من اللقطات

نموذج التعلم

المعلمات المحددة:

• المستخدم: أدخل الحقل الذي سيتم التنبؤ به أو تعلمه لهذه العينة.
• المساعد: أدخل القيمة المقابلة للحقل الذي يجب تعلمه لهذه العينة.

توقع النتيجة

4. المناقشة

🖌️ إذا رأيت مشروعًا عالي الجودة، فيرجى ترك رسالة في الخلفية للتوصية به! بالإضافة إلى ذلك، قمنا أيضًا بتأسيس مجموعة لتبادل الدروس التعليمية. مرحبًا بالأصدقاء لمسح رمز الاستجابة السريعة وإضافة [برنامج تعليمي SD] للانضمام إلى المجموعة لمناقشة المشكلات الفنية المختلفة ومشاركة نتائج التطبيق↓

معلومات الاستشهاد

معلومات الاستشهاد لهذا المشروع هي كما يلي:

@article{yao2024minicpm,
  title={MiniCPM-V: A GPT-4V Level MLLM on Your Phone},
  author={Yao, Yuan and Yu, Tianyu and Zhang, Ao and Wang, Chongyi and Cui, Junbo and Zhu, Hongji and Cai, Tianchi and Li, Haoyu and Zhao, Weilin and He, Zhihui and others},
  journal={Nat Commun 16, 5509 (2025)},
  year={2025}
}
@article{yao2024minicpm,
  title={MiniCPM-V: A GPT-4V Level MLLM on Your Phone},
  author={Yao, Yuan and Yu, Tianyu and Zhang, Ao and Wang, Chongyi and Cui, Junbo and Zhu, Hongji and Cai, Tianchi and Li, Haoyu and Zhao, Weilin and He, Zhihui and others},
  journal={arXiv preprint arXiv:2408.01800},
  year={2024}
}