HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 4 أشهر

تدريب عبر المنظور لتعلم شبه مراقب

{Quoc V. Le Thang Luong Kevin Clark}

تدريب عبر المنظور لتعلم شبه مراقب

الملخص

نقدّم طريقة التدريب عبر المنظورات (Cross-View Training (CVT، وهي طريقة بسيطة ولكن فعّالة للتعلم العميق شبه المُشرَّف. يتم تدريب النموذج باستخدام خسارة التباين العددي القياسي (cross-entropy loss) على الأمثلة المُعلّمة. أما على الأمثلة غير المُعلّمة، فيقوم النموذج أولاً بعملية الاستنتاج (بصفته "المُدرّس") لإنتاج أهداف ناعمة (soft targets). ثم يتعلم النموذج من هذه الأهداف الناعمة (بصفته "الطالب"). ونختلف عن الدراسات السابقة من خلال إضافة طبقات تنبؤ إضافية (طلابية متعددة) إلى النموذج. يُستخدم كمدخل لكل طبقة طالب شبكة فرعية من النموذج الكامل، والتي تمتلك رؤية محدودة للمدخل (مثلاً، رؤية منطقة واحدة فقط في صورة). يمكن للطلاب التعلّم من المُدرّس (النموذج الكامل) لأن المُدرّس يرى جزءًا أكبر من كل مثال. وفي الوقت نفسه، يُحسّن الطلاب جودة التمثيلات المستخدمة من قبل المُدرّس، أثناء تعلّمهم إجراء التنبؤات باستخدام بيانات محدودة. عند دمج CVT مع التدريب الانتقالي الافتراضي (Virtual Adversarial Training)، تتفوّق CVT على الحالة الراهنة من الأداء على مجموعتي بيانات CIFAR-10 شبه المُشرّفة وSVHN شبه المُشرّفة. كما طبّقنا CVT لتدريب نماذج على خمسة مهام في معالجة اللغة الطبيعية باستخدام مئات الملايين من الجمل غير المُعلّمة. وفي جميع المهام، تفوقت CVT بشكل كبير على التعلّم المُشرَّف وحده، ما أدى إلى نماذج تتفوّق على أو تكون منافسة للحالة الراهنة من الأداء.

المعايير القياسية

معيار قياسيالمنهجيةالمقاييس
chunking-on-conll-2000ELMo + Multi-Task
Exact Span F1: 96.83
chunking-on-conll-2000CVT+Multi-Task+Large
Exact Span F1: 96.98

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تدريب عبر المنظور لتعلم شبه مراقب | الأوراق البحثية | HyperAI