Command Palette
Search for a command to run...
إعادة النظر في شبكات LSTM للتصنيف النصي شبه المشرف من خلال دالة هدف مختلطة
إعادة النظر في شبكات LSTM للتصنيف النصي شبه المشرف من خلال دالة هدف مختلطة
Devendra Singh Sachan; Manzil Zaheer; Ruslan Salakhutdinov
الملخص
في هذا البحث، ندرس شبكات LSTM ثنائية الاتجاه لأجل مهمة تصنيف النص باستخدام الأساليب المشرف عليها والأساليب شبه المشرف عليها. قد اقترحت العديد من الدراسات السابقة أنه إما يجب استخدام مخططات تدريب معقدة تعتمد على طرق غير مشرفة مثل نمذجة اللغة (داي ولي 2015؛ مياتو، داي وجودفيلو 2016)، أو نماذج معقدة (جونسون وزهانغ 2017) لتحقيق دقة تصنيف عالية. ومع ذلك، قمنا بتطوير استراتيجية تدريب تسمح حتى لنموذج BiLSTM بسيط، عند تدريبه باستخدام خسارة التباين المتقاطع (cross-entropy loss)، بأن يحقق نتائج تنافسية مقارنة بالأساليب الأكثر تعقيدًا. بالإضافة إلى ذلك، وباستخدام تركيبة من خسائر الحد الأدنى للانتروبيا (entropy minimization)، والخسائر المعادية (adversarial losses)، والخسائر المعادية الافتراضية (virtual adversarial losses) لكل من البيانات المصنفة وغير المصنفة، نبلغ عن أفضل النتائج الحالية لأجل مهمة تصنيف النص في عدة مجموعات بيانات معيارية. بشكل خاص، في مجموعة بيانات تحليل المشاعر ACL-IMDB ومجموعة بيانات تصنيف المواضيع AG-News، يتفوق أسلوبنا على الأساليب الحالية بمقدار كبير. كما نظهر أيضًا عمومية الدالة الهدف المختلطة من خلال تحسين الأداء في مهمة استخراج العلاقات (relation extraction task).