نقدم كوسموس-2، وهو نموذج لغوي كبير متعدد الوسائط (MLLM)، مما يمكّن من قدرات جديدة في استشعار وصف الأشياء (مثل، الصناديق الحدودية) وتثبيت النص إلى العالم البصري. بوجه خاص، نمثل التعبيرات المرجعية كروابط في Markdown، أي `[نص](صناديق حدودية)'، حيث تكون وصف الأشياء سلاسل من رموز الموقع. بالاشتراك مع مجموعات البيانات المتعددة الوسائط، نقوم ببناء بيانات على نطاق واسع من أزواج الصور والنصوص المثبتة (يُطلق عليها GrIT) لتدريب النموذج. بالإضافة إلى القدرات الموجودة للنماذج اللغوية الكبيرة المتعددة الوسائط (مثل، استشعار الوسائط العامة، اتباع التعليمات، والتعلم السياقي)، يدمج كوسموس-2 قدرة التثبيت في التطبيقات اللاحقة. نقيم كوسموس-2 على مجموعة واسعة من المهام، بما في ذلك: (i) تثبيت متعدد الوسائط، مثل فهم التعبيرات المرجعية والتثبيت الجملةي (ii) الإشارة متعددة الوسائط، مثل إنشاء التعبيرات المرجعية (iii) مهام الاستشعار واللغة، و(iv) فهم وإنشاء اللغة. هذا العمل يضع الأساس لتطوير الذكاء الاصطناعي المتجسد ويضيء الطريق نحو التقارب الكبير بين اللغة والاستشعار متعدد الوسائط والأفعال ونمذجة العالم، وهو خطوة رئيسية نحو الذكاء الاصطناعي العام. يمكن الوصول إلى الشفرة والنماذج المدربة مسبقًا عبر الرابط https://aka.ms/kosmos-2.