HyperAIHyperAI

Command Palette

Search for a command to run...

مُحَوِّل خفيف الوزن مستند إلى معيار مستوى الإطار

Genshun Wan Mengzhi Wang Tingzhi Mao Hang Chen* Zhongfu Ye

الملخص

النموذج المحول المدرب على أساس معيار مستوى التسلسل يتطلب الكثير من الذاكرة بسبب إنشاء مصفوفة الاحتمالات الكبيرة. اقترحنا نموذجًا خفيف الوزن من المحولات يعتمد على معيار مستوى الإطار، حيث يستخدم نتائج خوارزمية التوافق القسري لـ CTC لتحديد العلامة لكل إطار. ثم يمكن دمج مخرجات المُشفِّر مع مخرجات المُفكِّك في الوقت المقابل، بدلاً من إضافة كل عنصر تخرجه المُشفِّر إلى كل عنصر تخرجه المُفكِّك كما هو الحال في النموذج المحول. هذا يقلل بشكل كبير من متطلبات الذاكرة والحساب. للتعامل مع مشكلة التصنيف غير المتوازن الناجم عن وجود فراغات زائدة في العلامات، قمنا بفصل احتمالات الفراغ وغير الفراغ وقطع تدرج تصنيف الفراغ إلى الشبكة الرئيسية. أظهرت التجارب على AISHELL-1 أن هذا يمكّن النموذج الخفيف الوزن من تحقيق نتائج مشابهة لنماذج المحولات. بالإضافة إلى ذلك، نحن نستخدم معلومات أكثر غنىً لتوقع احتمالية الفراغ، مما يؤدي إلى تحقيق نتائج أفضل من نماذج المحولات.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp