نقدم نموذج InternLM-XComposer2، وهو نموذج متقدم متعدد الوسائط يُظهر كفاءة عالية في التكوين والفهم الحر للنصوص والصور. يتجاوز هذا النموذج فهم الوسائط المتعددة التقليدي، حيث يتمكن ببراعة من إنشاء محتوى مُختلط من النصوص والصور من مدخلات متنوعة مثل المخططات الأولية، والمواصفات النصية التفصيلية، والصور المرجعية، مما يتيح إنشاء محتوى قابل للتخصيص بشكل كبير. ويقترح InternLM-XComposer2 منهجية Partial LoRA (PLoRA) التي تُطبّق معاملات LoRA الإضافية حصريًا على رموز الصور، وذلك لضمان الحفاظ على سلامة المعرفة اللغوية المُدرّبة مسبقًا، مع تحقيق توازن دقيق بين الفهم الدقيق للرؤية والتكوين النصي المتميّز بالذوق الأدبي. تُظهر النتائج التجريبية تفوق InternLM-XComposer2 المستند إلى InternLM2-7B في إنتاج محتوى متعدد الوسائط طويل النص عالي الجودة، كما تُظهر أداؤه الاستثنائي في فهم الوسائط المتعددة عبر مختلف المعايير، حيث يتفوق بشكل ملحوظ على النماذج متعددة الوسائط الحالية، بل ويُوازي أو حتى يتفوق على GPT-4V وGemini Pro في بعض التقييمات. وهذا يُبرز كفاءته المتميزة في مجال فهم الوسائط المتعددة. يتوفر سلسلة نماذج InternLM-XComposer2 ذات 7B من المعاملات للجمهور عبر الرابط: https://github.com/InternLM/InternLM-XComposer.