HyperAIHyperAI
منذ 17 أيام

ترجمة لغة الإشارة باستخدام البروتوتايب التكراري

Huijie Yao, Wengang Zhou, Hao Feng, Hezhen Hu, Hao Zhou, Houqiang Li
ترجمة لغة الإشارة باستخدام البروتوتايب التكراري
الملخص

تقدم هذه الورقة المنهجية IP-SLT، وهي إطار عمل بسيط لكنه فعّال لترجمة لغة الإشارة (SLT). يعتمد IP-SLT على بنية تكرارية ويعزز تمثيل المعنى (النموذج النموذجي) للفيديو المدخل بلغة الإشارة من خلال طريقة تحسين تدريجي. تتماشى فكرتنا مع سلوك القراءة البشري، حيث يمكن تناول جملة عدة مرات حتى يتم الوصول إلى فهم دقيق. من الناحية التقنية، يتكوّن IP-SLT من ثلاث مراحل: استخراج الميزات، وتهيئة النموذج النموذجي، وتحسين النموذج النموذجي بشكل تكراري. يُولِّد وحدة التهيئة نموذجًا أوليًا بناءً على الميزات البصرية المستخرجة بواسطة وحدة استخراج الميزات. ثم تُستخدم وحدة التحسين التكراري، التي تعتمد على آلية الانتباه المتقاطع، لتحسين النموذج السابق من خلال دمجها مع ميزات الفيديو الأصلية. وباستمرار هذه العملية التكرارية، يتجه النموذج نحو حالة أكثر استقرارًا ودقة، مما يؤدي إلى ترجمة سلسة ومناسبة. بالإضافة إلى ذلك، لاستغلال الاعتماد التسلسلي بين النماذج النموذجية، نقترح بشكل إضافي دالة خسارة تقطيع تكراري، لضغط المعرفة الناتجة عن التكرار الأخير إلى التكرارات السابقة. وبما أن عملية التشفير التكراري تُنفَّذ مرة واحدة فقط أثناء الاستنتاج، فإن IP-SLT جاهز لتحسين العديد من الأنظمة الخاصة بترجمة لغة الإشارة بتكاليف معقولة. وقد أُجريت تجارب واسعة على معايير عامة للبيانات، لتأكيد فعالية IP-SLT.