HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 20 أيام

عندما تتعارض الوسائط: كيف تُحدِّد درجة عدم اليقين في الاستدلال أحادي الوسائط ديناميكيات التفضيل في النماذج متعددة الوسائط واللغة

Zhuoran Zhang Tengyue Wang Xilin Gong Yang Shi Haotian Wang Di Wang Lijie Hu

عندما تتعارض الوسائط: كيف تُحدِّد درجة عدم اليقين في الاستدلال أحادي الوسائط ديناميكيات التفضيل في النماذج متعددة الوسائط واللغة

الملخص

يجب على النماذج الكبيرة متعددة الوسائط (MLLMs) التغلب على التناقضات الناتجة عن تناقض المعلومات المقدمة من وسائط مختلفة، وهي عملية نسميها "اتباع الوسائط". وسجّل العمل السابق قياس هذا السلوك باستخدام إحصائيات خشنة على مستوى المجموعة، متجاهلاً تأثير ثقة النموذج في التفكير أحادي الوسائط. في هذا البحث، نُقدّم إطارًا جديدًا يُحلّل اتباع الوسائط إلى عاملين أساسيين: الغموض النسبي في الاستدلال (الفارق المحدد حسب الحالة في مستوى الثقة بين التنبؤات أحادية الوسائط)، والانحياز المتأصّل في الوسائط (الانحياز الثابت للنموذج عند توازن الغموض). وللتحقق من صحة هذا الإطار، نُنشئ مجموعة بيانات قابلة للتحكم تُعدّل بشكل منهجي صعوبة الاستدلال في المدخلات البصرية والنصية. وباستخدام الانتروبيا كمقياس دقيق للغموض، نكشف عن قانون عام: تتناقص احتمالية اتباع وسائط مع ازدياد غموضها النسبي بشكل مُتسلسل. وفي المستوى النسبي للصعوبة الذي يميل فيه النموذج إلى اتباع كلا الوسائط باحتمال متساوٍ – والذي نسميه "نقطة التوازن" – نستخلص مؤشرًا عمليًا لانحياز النموذج المتأصّل. على عكس النسب التقليدية على المستوى الكلي، يُقدّم هذا المقاييس طريقة أكثر مبدأية وأقل تأثّرًا بعوامل مُربكة لوصف الانحياز الوسائطي، حيث يُفرّق بينه وبين القدرات أحادية الوسائط وعوامل المجموعة المُستخدمة. علاوةً على ذلك، من خلال تحليل التنبؤات الطبقية، نكشف الآلية الداخلية للارتجاف: ففي المناطق الغامضة القريبة من نقطة التوازن، يرتجف النموذج بين الوسائط عبر الطبقات، ما يفسّر سلوك التردد المُلاحظ خارجيًا. في المجمل، تُثبّت هذه النتائج أن الغموض النسبي والانحياز المتأصّل هما المبدآن الحاكمان لاتباع الوسائط، مُقدّمتين إطارًا كميًا ورؤية ميكانيكية حول كيفية تناول نماذج MLLMs للمعلومات المتعارضة.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
عندما تتعارض الوسائط: كيف تُحدِّد درجة عدم اليقين في الاستدلال أحادي الوسائط ديناميكيات التفضيل في النماذج متعددة الوسائط واللغة | الأوراق البحثية | HyperAI