HyperAIHyperAI

Command Palette

Search for a command to run...

ما مدى بُعدنا عن GPT-4V؟ سد الفجوة مع النماذج متعددة الوسائط التجارية باستخدام مجموعات مفتوحة المصدر

الملخص

في هذا التقرير، نقدم نموذج "InternVL 1.5" (InternVL 1.5)، وهو نموذج لغوي ضخم متعدد الوسائط (MLLM) مفتوح المصدر، يهدف إلى تقليل الفجوة في القدرات بين النماذج المفتوحة المصدر والنمذج التجارية المُخَصَّصة في فهم المحتوى متعدد الوسائط. ونُقدِّم ثلاث تحسينات بسيطة: (1) مُشَفر بصرِي قوي: قمنا بدراسة استراتيجية تعلُّم مستمر لنموذج أساسٍ بصري واسع النطاق – "InternViT-6B" – مما عزز من قدرات النموذج في فهم الصور، وجعله قابلاً للنقل وإعادة الاستخدام في نماذج لغوية ضخمة مختلفة. (2) مُعالجة ديناميكية بدقة عالية: نُقسِّم الصور إلى مربعات (تيلز) تتراوح من 1 إلى 40 مربعًا، بحجم 448×448 بكسل، وفقًا لنسبة العرض إلى الارتفاع ودقة الصورة المدخلة، ما يُمكِّن من دعم إدخال صور بدقة تصل إلى 4K. (3) مجموعة بيانات ثنائية اللغة عالية الجودة: قمنا بجمع مجموعة بيانات ثنائية اللغة عالية الجودة تغطي مشاهد شائعة، وصور وثائق، وتم تزويدها بأزواج أسئلة وأجوبة باللغة الإنجليزية والصينية، ما ساهم بشكل ملحوظ في تحسين الأداء في المهام المتعلقة بـ OCR والمهام المرتبطة باللغة الصينية. تم تقييم نموذج InternVL 1.5 من خلال سلسلة من المعايير والدراسات المقارنة. ومقارنةً مع النماذج المفتوحة المصدر والخاصة، أظهر InternVL 1.5 أداءً تنافسيًا، وحقق نتائج متميزة (State-of-the-art) في 8 من أصل 18 معيارًا. وتم إتاحة الشيفرة المصدرية على منصة GitHub عبر الرابط التالي: https://github.com/OpenGVLab/InternVL.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp