HyperAIHyperAI

Command Palette

Search for a command to run...

القراءة الشفهية الدقيقة والفعالة من حيث الموارد باستخدام EfficientNetV2 و Transformers

Gerasimos Potamianos Alexandros Koumparoulis

الملخص

نقدم بنية جديدة فعّالة من حيث الموارد ومتعددة المراحل بالكامل لقراءة الشفاه، والتي تحقق نتائج متقدمة على مستوى العالم في معيار شائع وصعب. وبشكل خاص، نقدم المساهمات التالية: أولاً، مستوحى من النجاح الأخير لبنية EfficientNet في تصنيف الصور، وكذلك من عملنا السابق على نماذج قراءة الشفاه الفعّالة من حيث الموارد (MobiLipNet)، نُدخل بنية EfficientNets إلى مهمة قراءة الشفاه. ثانيًا، نُظهر أن الوحدة الأمامية ثلاثية الأبعاد الأكثر شيوعًا في الأدبيات تحتوي على طبقة max-pool التي تعيق قدرة الشبكات على تحقيق أداء متميز، ونُقترح إزالتها. ثالثًا، نُحسّن متانة الجزء الخلفي لنظامنا من خلال إدراج مشفر Transformer. وقد تم تقييم النظام المقترح على مجموعة "قراءة الشفاه في البيئة الطبيعية" (LRW)، وهي قاعدة بيانات تحتوي على مقاطع فيديو قصيرة مستمدة من بثّات قناة بي بي سي. وتحقق الشبكة المقترحة (النوع T) دقة قدرها 88.53٪ في الكلمات، أي تحسنًا مطلقًا بنسبة 0.17٪ مقارنة بالحالة الراهنة، مع استهلاك حسابي أقل بخمس مرات. وبالإضافة إلى ذلك، تحقق النسخة المُوسّعة من نموذجنا (النوع L) دقة قدرها 89.52٪، وهي نتيجة جديدة قياسية على مجموعة LRW.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
القراءة الشفهية الدقيقة والفعالة من حيث الموارد باستخدام EfficientNetV2 و Transformers | مستندات | HyperAI