IF-Bench: تقييم وتحسين النماذج الكبيرة للغة والرؤية لصور الأشعة تحت الحمراء باستخدام الرؤية التوليدية
IF-Bench: تقييم وتحسين النماذج الكبيرة للغة والرؤية لصور الأشعة تحت الحمراء باستخدام الرؤية التوليدية
Tao Zhang Yuyang Hong Yang Xia Kun Ding Zeyu Zhang Ying Wang Shiming Xiang Chunhong Pan

الملخص
أحرزت النماذج الكبيرة متعددة الوسائط للغة (MLLMs) تقدماً ملحوظاً في الأداء عبر مجموعة متنوعة من المعايير، إلا أن قدرتها على فهم الصور الحرارية لا تزال غير مُستكشفة. ولسد هذه الفجوة، نقدّم "IF-Bench"، أول معيار عالي الجودة مُصمم لتقييم الفهم متعدد الوسائط للصور الحرارية. يتكوّن IF-Bench من 499 صورة مستمدة من 23 مجموعة بيانات حرارية، و680 زوجاً دقيقاً من الأسئلة والردود البصرية، تغطي 10 أبعاد أساسية لفهم الصور. وباستخدام هذا المعيار، قمنا بتقييم منهجي لأكثر من 40 نموذجاً مفتوح المصدر ومقفول المصدر من نماذج MLLMs، باستخدام استراتيجيات تقييم دورية، وتقييم ثنائي اللغة، وتقنيات تقييم هجينة لتعزيز موثوقية النتائج. كشف تحليلنا عن تأثير حجم النموذج، وهندسته المعمارية، ونمط الاستنتاج على فهم الصور الحرارية، مما يوفر رؤى قيمة في هذا المجال. علاوة على ذلك، نقترح طريقة توليدية دون تدريب تُسمى "GenViP" (التحفيز البصري التوليدي دون تدريب)، والتي تعتمد على نماذج متقدمة للتعديل الصوري لتحويل الصور الحرارية إلى نسخ متناظرة من حيث المعنى والمساحة بتنسيق RGB، مما يقلل من تأثير التحول في توزيع المجالات. وأظهرت التجارب الواسعة أن طريقتنا تحقق تحسينات أداء ملحوظة ومستمرة عبر مجموعة واسعة من نماذج MLLMs.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.