HyperAIHyperAI

Command Palette

Search for a command to run...

شبكة ت(Convolution) زمنية كثيفة للترجمة إلى لغة الإشارة

Dan Guo; Shuo Wang; Qi Tian;Meng Wang

الملخص

يُعدّ ترجمة لغة الإشارة (SLT)، التي تهدف إلى تحويل مقاطع فيديو لغة الإشارة إلى لغة طبيعية، مُدرّبَة بشكل ضعيف نظرًا لعدم وجود علاقة تقابل دقيقة بين الإجراءات البصرية والكلمات النصية في تسميات الجملة. ولتحقيق التماثل بين إجراءات لغة الإشارة وترجمتها تلقائيًا إلى الكلمات المقابلة، تُقدّم هذه الورقة شبكة ت(Convolution) زمنية كثيفة تُسمّى DenseTCN، والتي تلتقط الإجراءات من منظور هرمي. داخل هذه الشبكة، تم تصميم شبكة ت(Convolution) زمنية (TC) لتعلم الارتباطات القصيرة الأمد بين الميزات المجاورة، ثم تم توسيعها إلى بنية هرمية كثيفة. في الطبقة الزمنية التالية رقم kthk^{\mathrm{th}}kth، ندمج مخرجات جميع الطبقات السابقة معًا: (1) تمتلك الطبقة الزمنية الأعمق مجال استقبال أكبر، مما يمكّنها من التقاط السياق الزمني الطويل من خلال انتقال المحتوى الهرمي. (2) يُعالج التكامل المشكلة المتعلقة بترجمة لغة الإشارة من زوايا مختلفة، بما في ذلك التعلّم التسلسلي القصير الأمد المدمج والطويل الأمد الموسّع. وأخيرًا، نستخدم خسارة CTC واستراتيجية دمج لتعلم التصنيف حسب الميزات وإنتاج الجملة المترجمة. تُظهر النتائج التجريبية على مBenchmarkين شهيرين لغة الإشارة، وهما PHOENIX وUSTC-ConSents، فعالية الطريقة المقترحة من حيث مقاييس متعددة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp