تحسين الخطوط الأساسية باستخدام ضبط التوجيه البصري

قد أظهرت النماذج المتعددة الأوضاع الكبيرة (LMM) مؤخرًا تقدمًا مشجعًا في ضبط التعليمات البصرية. وفي هذا الملاحظة، نوضح أن الاتصال العابر للأوضاع بين الرؤية واللغة في LLaVA قوي ومُدَرَّب ببيانات بشكل مفاجئ. من خلال إجراء تعديلات بسيطة على LLaVA، مثل استخدام CLIP-ViT-L-336px مع اسقاط MLP وإضافة بيانات VQA موجهة نحو المهام الأكاديمية مع دفعات تنسيق الاستجابة البسيطة، نحن نحدد خطوط أساس أقوى تحقق أفضل ما وصل إليه العلم عبر 11 مقاييس. يستخدم نقطة التحقق النهائية لدينا التي تحتوي على 13 مليار معلمة فقط 1.2 مليون بيانات متاحة للجمهور، ويتم إكمال التدريب الكامل في حوالي يوم واحد على عقد واحد يتكون من 8 بطاقات A100. نأمل أن يساعد هذا في جعل البحث المتقدم في النماذج المتعددة الأوضاع الكبيرة أكثر سهولة الوصول. سيتم توفير الشيفرة والنموذج للجمهور.注释：VQA (Visual Question Answering) هو اختصار لـ "إجابة الأسئلة البصرية"، وهو مجال في الذكاء الصناعي يتعلق بالإجابة على الأسئلة المتعلقة بالصور أو الفيديوهات. CLIP-ViT-L-336px هو نوع من النماذج العصبية المستخدمة في معالجة الصور والنصوص معًا.