القرد: الدقة البصرية وملصق النص من الأمور المهمة للنماذج متعددة الوسائط الكبيرة

أظهرت النماذج المتعددة الأوضاع الكبيرة (LMMs) وعودًا في مهام الرؤية واللغة، لكنها تواجه صعوبات مع المدخلات ذات الدقة العالية وفهم المشاهد التفصيلي. لمعالجة هذه التحديات، نقدم "مونكي" لتعزيز قدرات النماذج المتعددة الأوضاع. أولاً، يقوم "مونكي" بمعالجة الصور المدخلة من خلال تقسيمها إلى شرائح موحدة، كل منها يطابق الحجم المستخدم (مثل 448x448) في التدريب الأصلي للشفرة البصرية المدربة جيدًا. مجهز بمكيف فردي لكل شريحة، يمكن لمونكي التعامل مع دقات أعلى تصل إلى 1344x896 بكسل، مما يمكّنه من التقاط المعلومات البصرية المعقدة بشكل أكثر تفصيلًا. ثانيًا، يستخدم طريقة متعددة المستويات لإنشاء الوصف، مما يغني السياق للروابط بين المشهد والأجسام. هذا الاستراتيجية ثنائية الجزء يضمن التعلم الأكثر فعالية من البيانات المولدة: حيث أن الدقة الأعلى تسمح بالتقاط التفاصيل البصرية بشكل أفضل، مما يعزز بدوره فعالية الوصف الشامل. قدّمت النتائج التجريبية الواسعة صلاحية تصاميمنا. بالإضافة إلى ذلك، أثبتت التجارب على 18 مجموعة بيانات أن "مونكي" يتخطى النماذج المتعددة الأوضاع الموجودة في العديد من المهام مثل إنشاء العناوين للصور وأنواع مختلفة من الإجابة على أسئلة بصرية. خصوصًا في الاختبارات النوعية التي ركزت على الإجابة على الأسئلة النصية الكثيفة، أظهر "مونكي" نتائج مشجعة مقارنة بـ GPT4V. يمكن الحصول على الكود من الرابط التالي: https://github.com/Yuliang-Liu/Monkey.