HyperAIHyperAI

Command Palette

Search for a command to run...

TagAlign: تحسين تنسيق الرؤية واللغة من خلال تصنيف متعدد العلامات

Qinying Liu Wei Wu Kecheng Zheng Zhan Tong Jiawei Liu Yu Liu Wei Chen Zilei Wang Yujun Shen

الملخص

جوهر تعلم نماذج الرؤية واللغة هو استخراج المعلومات المتماهية مع المعنى من البيانات البصرية واللغوية. المحاولات الحالية غالباً ما تواجه مشكلة التوافق الخشن، مثل صعوبة مُشفر الرؤية في تحديد موقع كائن محدد بصفة (مثل: قطة سوداء). في هذا البحث، نقترح طريقة بسيطة بشكل محرج لتحسين توافق خصائص الصورة والنص دون الحاجة إلى تنسيقات بيانات إضافية غير أزواج الصورة والنص. بالتحديد، عند تقديم صورة ونصها المترافق، نتمكن من تحليل الكائنات (مثل: قطة) والصفات (مثل: سوداء) من الوصف، والتي من المرجح أن تكون موجودة في الصورة. يجدر الإشارة إلى أن خط الأنابيب للتحليل آلي تماماً وبالتالي يتمتع بمرونة جيدة. باستخدام هذه الدلالات المُحلَّلة كإشارات إشراف، يمكننا تعويض الخسارة التقابلية الشائعة بين الصورة والنص بالخسارة التصنيفية متعددة العلامات. النتائج التجريبية الواسعة على مجموعة متنوعة من مجموعات بيانات تقسيم الدلالة تؤكد تحسين إطار عملنا بنسبة متوسطة تبلغ 5.2٪ مقارنة بالبدائل الحالية. علاوة على ذلك، تشير نتائج التصور إلى أن الإشراف بالصفات يجعل نماذج الرؤية واللغة قادرة على تحديد موقع الكائنات المحددة بالصفات بدقة. يمكن العثور على صفحة المشروع على الرابط التالي: https://qinying-liu.github.io/Tag-Align.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp