HyperAIHyperAI

Command Palette

Search for a command to run...

العَرَبِيَةُ البَسِيطَةُ: تيمبورال فيلم: التقاط الارتباطات الطويلة المدى في التسلسلات باستخدام التعديلات حسب الخصائص

Sawyer Birnbaum Volodymyr Kuleshov S. Zayd Enam Pang Wei Koh Stefano Ermon

الملخص

تعلم التمثيلات التي تلتقط الارتباطات طويلة المدى في المدخلات التسلسلية -- بما في ذلك النص، الصوت، والبيانات الجينومية -- هو مشكلة رئيسية في التعلم العميق. تلتقط نماذج التحويل التقديمي (feed-forward) القائمة على التجميع (convolution) فقط تفاعلات الخصائص ضمن حقول استقبال محددة، بينما يمكن أن تكون الهياكل المتكررة (recurrent architectures) بطيئة ومعقدة التدريب بسبب انخفاض التدرجات (vanishing gradients). هنا، نقترح تعديل الخصائص الزمني خطيًا حسب المجموعة (Temporal Feature-Wise Linear Modulation - TFiLM) -- وهو مكون هيكلي جديد مستوحى من التعديل الدُفعة المتكيف (adaptive batch normalization) وامتداداته -- يستخدم شبكة عصبية متكررة لتعديل تنشيطات نموذج التجميع. يوسع هذا النهج مجال الاستقبال للنماذج التسلسلية القائمة على التجميع مع أدنى تكلفة حوسبة. بشكل تجريبي، نجد أن TFiLM يحسن بشكل كبير سرعة التعلم ودقة النتائج للشبكات العصبية التقديمية في مجموعة متنوعة من مهمات التعلم الإنتاجي والتفرقي، بما في ذلك تصنيف النص وتحسين دقة الصوت الفائق.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp