HyperAIHyperAI

Command Palette

Search for a command to run...

Seed-ASR: فهم الكلام المتنوع والسياقات باستخدام التعرف على الصوت المستند إلى LLM

الملخص

تتطلب النماذج الحديثة للتمييز التلقائي للصوت (ASR) تحويلًا دقيقًا لإشارات الصوت المتنوعة (من مجالات مختلفة، ولهجات، ولهجات، وأساليب نطق متنوعة) مع الأخذ بعين الاعتبار المعلومات السياقية المحددة في سياقات تطبيقية مختلفة. تُظهر النماذج النهائية التقليدية المدمجة مع نماذج لغوية إضافية أداءً جيدًا، ولكن بشكل رئيسي في السيناريوهات التي تتطابق فيها البيانات، وتشهد الآن تباطؤًا تدريجيًا في التقدم، حيث تقترب من حدود محددة. في هذه الدراسة، نقدم نموذج Seed-ASR، وهو نموذج لتمييز الصوت يعتمد على نموذج لغة كبير (LLM). تم تطوير Seed-ASR بناءً على إطار عمل نموذج اللغة الكبير المشروط بالإشارة الصوتية (AcLLM)، حيث يتم استغلال قدرات نماذج LLM من خلال إدخال تمثيلات صوتية مستمرة مع معلومات سياقية مباشرة إلى نموذج LLM. من خلال التدريب على نطاق واسع بمرحلتين، وتنمية القدرات المعرفة بالسياق في نموذج LLM، يُظهر Seed-ASR تحسنًا ملحوظًا مقارنةً بالنماذج النهائية على مجموعات تقييم شاملة، تشمل عدة مجالات، ولهجات/لهجات، ولغات متعددة. علاوةً على ذلك، يمكن نشر Seed-ASR بشكل إضافي لدعم الاحتياجات المحددة في سياقات مختلفة دون الحاجة إلى نماذج لغوية إضافية. مقارنةً بالنماذج الكبيرة الحديثة لتمييز الصوت، حقق Seed-ASR خفضًا بنسبة 10% إلى 40% في معدلات الأخطاء الكلامية (أو الحرفية، بالنسبة للصينية) على مجموعات اختبار عامة باللغتين الصينية والإنجليزية، مما يُظهر بشكل مُتزايد كفاءة أداء عالية جدًا.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp