HyperAIHyperAI

Command Palette

Search for a command to run...

التشفير الفردي للشجرة في مُشفّرات التكرار الخارجة-الداخلية العميقة غير المراقبة باستخدام S-DIORA

Andrew McCallum Mohit Iyyer Tim O'Gorman Yi-Pei Chen Subendhu Rongali Andrew Drozdov

الملخص

النموذج العصبي ذاتي التدريب المعروف بـ (DIORA؛ Drozdov et al. 2019) هو نموذج عصبي ذاتي التدريب يتعلم استنتاج هياكل شجرية نحوية للجمل المدخلة دون الحاجة إلى بيانات تدريب مُعلَّمة. في هذه الورقة، نكتشف أن DIORA، رغم قدرته على تشفير جميع الأشجار الثنائية الممكنة للجملة باستخدام برنامج ديناميكي ناعم، فإن نهجه المبني على المتوسط المتجهي يُظهر سلوكًا محليًا جشعًا، ولا يمكنه التصحيح من الأخطاء عند حساب أعلى شجرة تحليلية من حيث الدرجة في عملية تحليل الجملة من الأسفل إلى الأعلى باستخدام جدول التحليل. لحل هذه المشكلة، نقدّم S-DIORA، وهو نسخة محسّنة من DIORA، حيث يتم تشفير شجرة واحدة فقط بدلاً من مزيج ناعم من الأشجار، وذلك باستخدام عملية argmax صارمة وشريط (beam) في كل خلية داخل الجدول. تُظهر تجاربنا أن التحسين عبر إعادة ضبط دقيق (fine-tuning) لنموذج DIORA المُدرّب مسبقًا باستخدام خوارزميتنا الجديدة يؤدي إلى تحسين الحالة الراهنة في تحليل التركيب غير المُعلَّم (unsupervised constituency parsing) على مجموعة بيانات English WSJ Penn Treebank بنسبة 2.2 إلى 6% من حيث دقة F1، حسب نوع البيانات المستخدمة في إعادة الضبط الدقيق.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التشفير الفردي للشجرة في مُشفّرات التكرار الخارجة-الداخلية العميقة غير المراقبة باستخدام S-DIORA | مستندات | HyperAI