HyperAIHyperAI

Command Palette

Search for a command to run...

العودة إلى المربع الأول: كشف العيوب، التدريب، وفصل المعنى العام في مفارقة وينوغراد

Yanai Elazar Hongming Zhang Yoav Goldberg Dan Roth

الملخص

تم اقتراح مSchema Winograd (WS) كاختبار لقياس القدرات البديهية النموذجية. في الآونة الأخيرة، ساهمت النماذج اللغوية المُدرّبة مسبقًا في تحسين الأداء على بعض معايير WS، لكن مصدر هذا التحسن لا يزال غير واضح. تشير هذه الورقة إلى أن التقدم الظاهري في WS قد لا يعكس بالضرورة تقدمًا في التفكير البديهي. لدعم هذا الادعاء، نُظهر أولًا أن طريقة التقييم الحالية لـ WS غير مثالية، ونُقترح تعديلًا يعتمد على استخدام جمل مزدوجة لتقييم الأداء. كما نُقدّم اثنين من المعايير الجديدة التي تُشير إلى وجود عناصر صناعية (artifacts) في معايير WS. ثم نطوّر طريقة لتقييم الجمل المشابهة لـ WS في بيئة "صفرية" (zero-shot) لمراعاة القدرات البديهية التي تم اكتسابها أثناء التدريب المسبق، ونلاحظ أن النماذج اللغوية الشهيرة تؤدي بشكل عشوائي في هذه البيئة عند استخدامنا لمعايير تقييم أكثر صرامة. نستنتج أن التقدم المُلاحظ يعود في المقام الأول إلى استخدام التوجيه (supervision) أثناء تدريب نماذج WS، وهو ما يُحتمل ألا يُمكّن من دعم جميع المهارات والمعرفة الضرورية للتفكير البديهي.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
العودة إلى المربع الأول: كشف العيوب، التدريب، وفصل المعنى العام في مفارقة وينوغراد | مستندات | HyperAI