HyperAIHyperAI

Command Palette

Search for a command to run...

التقييمات القابلة للقبول من خلال تحليل البنية الهيكلية لخرائط الانتباه

Daniil Cherniavskii Eduard Tulchinskii Vladislav Mikhailov Irina Proskurina Laida Kushnareva Ekaterina Artemova Serguei Barannikov Irina Piontkovskaya Dmitri Piontkovski Evgeny Burnaev

الملخص

لقد حظيت آلية الانتباه في ترميز المعرفة اللغوية باهتمام خاص في مجال معالجة اللغة الطبيعية (NLP). ومع ذلك، لم تُدرس بشكل كافٍ قدرة رؤوس الانتباه على تقييم قبول الجملة من حيث القواعد اللغوية. يتناول هذا البحث نموذج التقييمات القبلية باستخدام تحليل البيانات الطوبولوجية (TDA)، مُظهِرًا أن الخصائص الهندسية لرسم الانتباه يمكن استغلالها بكفاءة في ممارستين قياسيتين في علم اللغة: التقييم الثنائي والزوج اللغوي الأدنى. تُحسّن الخصائص الطوبولوجية من أداء تصنيف معرفة القبول المستند إلى BERT بنسبة 8% إلى 24% على مجموعة بيانات CoLA في ثلاث لغات (الإنجليزية، الإيطالية، والسويدية). وبكشف الفروق الطوبولوجية بين خرائط الانتباه للزوج اللغوي الأدنى، نحقق أداءً يعادل الأداء البشري في معيار BLiMP، ونتفوق على تسعة نماذج إحصائية ونماذج نموذج Transformer. وفي الوقت نفسه، يُمكّن TDA من تحليل الوظائف اللغوية لرؤوس الانتباه وفهم العلاقة بين الخصائص الرسومية والظواهر النحوية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp