أثبت نماذج اللغة الكبيرة (LLMs) مرونتها الاستثنائية في التعامل مع طيف واسع من التطبيقات المرتبطة باللغة. ولتوسيع قدرات نماذج اللغة الكبيرة لتغطية طيف أوسع من المدخلات متعددة الوسائط، اكتسبت النماذج الكبيرة لغة متعددة الوسائط (MLLMs) اهتمامًا متزايدًا. تتناول هذه الدراسة تمكين نماذج اللغة الكبيرة من أداء مهام أكثر ارتباطًا بالرؤية واللغة، وبخاصة توليد العناوين التوضيحية للصور (Image Captioning)، والإجابة على الأسئلة المرئية (Visual Question Answering - VQA)، والتوصيف المرئي (Visual Grounding). ولتحقيق ذلك، قمنا بتنفيذ خطة تدريب مكونة من ثلاث مراحل: بدءًا من التدريب المسبق للتوافق الخفيف الوزن، ثم التدريب الهجين متعدد المهام بوزن متوسط، وأخيرًا تحسين النموذج (Fine-tuning) لنموذج لغة كبير لتعزيز قدرته على اتباع التعليمات. طوال عملية التدريب، تزداد متطلبات ذاكرة وحدة معالجة الرسومات (GPU) تدريجيًا. ولإدارة عدد تضمينات الصور المرسلة إلى نموذج اللغة الكبير بشكل فعّال مع الحفاظ على معلومات الموضع، نقدم وحدة مُعدّلة بصرية بسيطة تُسمى "pool-adapter". تُظهر تجاربنا أن الحفاظ على معلومات الموضع للإدخالات البصرية من خلال وحدة "pool-adapter" يكون مفيدًا بشكل خاص للمهام مثل التوصيف المرئي. ونُسمي النهج المقترح بـ "InfMLLM"، وقد قمنا بتقييمه بشكل مكثف على مجموعة متنوعة من مجموعات البيانات القياسية. تُظهر النتائج أن InfMLLM تحقق أداءً يُعدّ من أفضل الأداءات الحالية (SOTA) أو أداءً يُقارن بأفضل النماذج الحديثة لـ MLLMs. سيتم إتاحة الكود والنماذج المصدرية مفتوحة المصدر عبر الرابط التالي: \url{https://github.com/mightyzau/InfMLLM}.