HyperAIHyperAI
منذ 2 أشهر

نقل التعلم للتصنيف التتابعي باستخدام الشبكات المتكررة الهرمية

Zhilin Yang; Ruslan Salakhutdinov; William W. Cohen
نقل التعلم للتصنيف التتابعي باستخدام الشبكات المتكررة الهرمية
الملخص

أظهرت الأوراق البحثية الحديثة أن الشبكات العصبية تحقق أداءً متميزًا في عدة مهام مختلفة لتسمية التسلسلات. من الخصائص الجاذبة لهذه الأنظمة هو عموميتها، حيث يمكن تحقيق أداء ممتاز باستخدام هندسة معمارية موحدة دون الحاجة إلى تصميم خصائص خاصة بالمهام. ومع ذلك، فإن الأمر غير واضح فيما إذا كانت مثل هذه الأنظمة قابلة للاستخدام في المهام التي لا تتوفر فيها كميات كبيرة من بيانات التدريب. في هذا البحث، نستكشف مشكلة التعلم النقل للوسماء العصبيين للتسلسلات، حيث يتم استخدام مهمة مصدر ذات تسميات وفيرة (مثل تسمية الأجزاءPOS على بنك الأشجار بن) لتحسين الأداء في مهمة الهدف ذات التسميات المتاحة بشكل أقل (مثل تسمية الأجزاءPOS للمدونات الصغيرة). نفحص آثار التعلم النقل للشبكات العصبية المتكررة الهرمية العميقة عبر المجالات والتطبيقات واللغات، ونوضح أنه غالبًا ما يمكن الحصول على تحسينات كبيرة. هذه التحسينات تقود إلى تقدم على الحالة المتميزة الحالية في عدة مهام جيدة الدراسة.注释:在阿拉伯语中,“Penn Treebank”通常直接使用英文名称,因此在这里保留了英文。同样,“POS tagging”(词性标注)在阿拉伯语中也有对应的术语“تسمية الأجزاء”,但为了确保信息完整,可以在首次出现时加上英文注释。