نقدم نموذج CogVLM، وهو نموذج قوي ومصدره مفتوح لأساس اللغة والرؤية البصرية.يختلف هذا النموذج عن الطريقة الشائعة للتوافق السطحي التي تربط خصائص الصور بمساحة المدخلات لنماذج اللغة، حيث يربط CogVLM الفجوة بين نموذج اللغة المدرب مسبقًا والمجمد ومحودث الصور من خلال وحدة خبيرة بصرية قابلة للتدريب في طبقات الانتباه (Attention) والشبكة العصبية التغدية الأمامية (FFN). نتيجة لذلك، يمكن لـ CogVLM تحقيق دمج عميق لخصائص الرؤية واللغة دون التضحية بأي أداء في مهام معالجة اللغات الطبيعية (NLP).يحقق نموذج CogVLM-17B أفضل الأداء على 10 مقاييس تقليدية متعددة الوسائط، بما في ذلك NoCaps، Flicker30k captioning، RefCOCO، RefCOCO+، RefCOCOg، Visual7W، GQA، ScienceQA، VizWiz VQA و TDIUC، ويحتل المركز الثاني على مقاييس VQAv2، OKVQA، TextVQA و COCO captioning وغيرها، مما يتفوق أو يساوي أداء PaLI-X 55B. يمكن الوصول إلى الأكواد والنقاط الثابتة (checkpoints) عبر الرابط: https://github.com/THUDM/CogVLM.