HyperAIHyperAI

Command Palette

Search for a command to run...

Console
منذ 2 أيام

IF-Bench: تقييم وتحسين النماذج الكبيرة للغة والرؤية لصور الأشعة تحت الحمراء باستخدام الرؤية التوليدية

Tao Zhang Yuyang Hong Yang Xia Kun Ding Zeyu Zhang Ying Wang Shiming Xiang Chunhong Pan

IF-Bench: تقييم وتحسين النماذج الكبيرة للغة والرؤية لصور الأشعة تحت الحمراء باستخدام الرؤية التوليدية

الملخص

أحرزت النماذج الكبيرة متعددة الوسائط للغة (MLLMs) تقدماً ملحوظاً في الأداء عبر مجموعة متنوعة من المعايير، إلا أن قدرتها على فهم الصور الحرارية لا تزال غير مُستكشفة. ولسد هذه الفجوة، نقدّم "IF-Bench"، أول معيار عالي الجودة مُصمم لتقييم الفهم متعدد الوسائط للصور الحرارية. يتكوّن IF-Bench من 499 صورة مستمدة من 23 مجموعة بيانات حرارية، و680 زوجاً دقيقاً من الأسئلة والردود البصرية، تغطي 10 أبعاد أساسية لفهم الصور. وباستخدام هذا المعيار، قمنا بتقييم منهجي لأكثر من 40 نموذجاً مفتوح المصدر ومقفول المصدر من نماذج MLLMs، باستخدام استراتيجيات تقييم دورية، وتقييم ثنائي اللغة، وتقنيات تقييم هجينة لتعزيز موثوقية النتائج. كشف تحليلنا عن تأثير حجم النموذج، وهندسته المعمارية، ونمط الاستنتاج على فهم الصور الحرارية، مما يوفر رؤى قيمة في هذا المجال. علاوة على ذلك، نقترح طريقة توليدية دون تدريب تُسمى "GenViP" (التحفيز البصري التوليدي دون تدريب)، والتي تعتمد على نماذج متقدمة للتعديل الصوري لتحويل الصور الحرارية إلى نسخ متناظرة من حيث المعنى والمساحة بتنسيق RGB، مما يقلل من تأثير التحول في توزيع المجالات. وأظهرت التجارب الواسعة أن طريقتنا تحقق تحسينات أداء ملحوظة ومستمرة عبر مجموعة واسعة من نماذج MLLMs.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية بالذكاء الاصطناعي
وحدات معالجة الرسوميات الجاهزة للاستخدام
أفضل تسعير

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
IF-Bench: تقييم وتحسين النماذج الكبيرة للغة والرؤية لصور الأشعة تحت الحمراء باستخدام الرؤية التوليدية | الأوراق البحثية | HyperAI