HyperAIHyperAI

Command Palette

Search for a command to run...

إعادة النظر في شبكات LSTM للتصنيف النصي شبه المشرف من خلال دالة هدف مختلطة

Devendra Singh Sachan; Manzil Zaheer; Ruslan Salakhutdinov

الملخص

في هذا البحث، ندرس شبكات LSTM ثنائية الاتجاه لأجل مهمة تصنيف النص باستخدام الأساليب المشرف عليها والأساليب شبه المشرف عليها. قد اقترحت العديد من الدراسات السابقة أنه إما يجب استخدام مخططات تدريب معقدة تعتمد على طرق غير مشرفة مثل نمذجة اللغة (داي ولي 2015؛ مياتو، داي وجودفيلو 2016)، أو نماذج معقدة (جونسون وزهانغ 2017) لتحقيق دقة تصنيف عالية. ومع ذلك، قمنا بتطوير استراتيجية تدريب تسمح حتى لنموذج BiLSTM بسيط، عند تدريبه باستخدام خسارة التباين المتقاطع (cross-entropy loss)، بأن يحقق نتائج تنافسية مقارنة بالأساليب الأكثر تعقيدًا. بالإضافة إلى ذلك، وباستخدام تركيبة من خسائر الحد الأدنى للانتروبيا (entropy minimization)، والخسائر المعادية (adversarial losses)، والخسائر المعادية الافتراضية (virtual adversarial losses) لكل من البيانات المصنفة وغير المصنفة، نبلغ عن أفضل النتائج الحالية لأجل مهمة تصنيف النص في عدة مجموعات بيانات معيارية. بشكل خاص، في مجموعة بيانات تحليل المشاعر ACL-IMDB ومجموعة بيانات تصنيف المواضيع AG-News، يتفوق أسلوبنا على الأساليب الحالية بمقدار كبير. كما نظهر أيضًا عمومية الدالة الهدف المختلطة من خلال تحسين الأداء في مهمة استخراج العلاقات (relation extraction task).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
إعادة النظر في شبكات LSTM للتصنيف النصي شبه المشرف من خلال دالة هدف مختلطة | مستندات | HyperAI